目标跟踪和轨迹预测作为计算机视觉领域的高级视觉任务,在自动驾驶环境感知中起着举足轻重的作用。目标跟踪按照被跟踪目标数量可分为单目标跟踪和多目标跟踪,而跟踪器设计的精准鲁棒程度直接关系到自动驾驶车辆的行驶安全。轨迹预测即对车辆未来（0～5秒不等）可能行驶轨迹的预测,是自动驾驶决策阶段的前提和基础。近年来,随着“十四五”规划全面推开,以人工智能、自动驾驶、车路协同为特征的交通科技革命持续发力,推动了交通发展由追求速度规模向更加注重质量效益转变。着眼交通科技革命实际需求,本文对自动驾驶环境感知阶段目标跟踪和轨迹预测展开深入研究论证,相关成果具有重要的理论意义和应用价值。本文的研究重点是实现对脆弱道路使用者（Vulnerable Road Users,VRU,多指老人和小孩）的单目标跟踪、多个交通道路参与者的多目标跟踪以及道路智能体轨迹预测三个方向的突破。针对单目标跟踪经常遇到的遮挡、形变和尺度变换等问题提出SiamSC算法和SiamMFC算法;对多目标跟踪过程中遇到的遮挡问题提出了在线多目标跟踪算法DM-Tracker;在智能体轨迹预测中针对视觉信息的缺失,提出了融合视觉信息的DA-LSTM轨迹预测算法,最终为实现自动驾驶环境感知智能系统的构建提供理论支撑。论文主要工作和研究成果如下:（1）针对脆弱道路使用者被跟踪过程中经常出现被遮挡的问题,提出了一种空间特征和通道特征相融合的孪生单目标跟踪算法SiamSC。该算法分为特征提取和区域建议分类回归两部分。在特征提取阶段,为了体现因物体被遮挡而造成的不同位置的重要性,引入空间注意力机制,重点关注未被遮挡部分位置的重要信息;在分类回归阶段,将分类网络中融合后的特征加入通道注意力机制,对不同的通道赋予不同的权重,使得网络可以更好的锁定被跟踪者的主要特征,进而快速精准的定位跟踪。所提出的算法在公共数据集VOT2017中进行验证,其综合评价指标期望平均重叠率（EAO）比基准算法SiamRPN高5.7%。（2）针对视觉单目标跟踪中经常出现的形变和尺度变换等问题,提出了一种基于流形特征的孪生分类回归单目标跟踪算法SiamMFC。常用的目标跟踪算法仅考虑了物体的语义信息而忽略了物体丰富的几何特征。针对上述问题,本算法在网络设计时增加流形模板分支来提取物体的几何信息。同时,在语义分支的特征提取阶段采用计算量少且无需考虑人为因素的锚点设计来提升网络的计算效率;在回归阶段有效融合流形分支中提取的流形特征,对物体位置进行准确的回归。本算法有效提升了物体在形变和尺度变换问题下的跟踪精度,在多个数据集上进行验证性能良好,其中在GOT-10K数据集上的评价指标SR0.75 比基准算法 SiamRPN++高 8.8%。（3）针对多目标跟踪中物体被频繁遮挡后经常出现ID跳变的问题,提出了一种具有可分辨力的在线多目标跟踪算法DM-Tracker。DM-Tracker本质上是一种基于检测的目标跟踪算法。在特征提取阶段,采用多特征融合的骨干网络有效提取被跟踪物体的检测特征,并采用参数量少且计算简单的无锚框检测器,有效提升了检测精度,为后续的精准跟踪提供了高精度的检测结果;在在线跟踪过程中,通过引入具有分辨力的模块,对经过遮挡和交互的目标重新分配不同权重的特征,并重点关注物体未被遮挡部分和此前物体是否为同一 ID,据此指导模型的精准输出。DM-Tracker在MOT公共基准数据集上的准确度（MOTA）和精度（MOTP）指标分别比离线算法TPM高5%和4%。（4）针对轨迹预测过程中交通参与者特别是行人在受到外界社会力因素影响后会发生轨迹改变的现实问题,提出了一种基于双重注意力模型的状态细化LSTM轨迹预测算法DA-LSTM。传统轨迹预测算法仅考虑了轨迹信息而忽略了图片中丰富的场景信息,本算法在设计过程中有效融合场景信息对道路智能体轨迹预测的影响。DA-LSTM首先将场景图像进行特征提取,再送入场景注意力机制模块中,同时历史轨迹信息经过状态细化模块的信息编码后输入到社会注意力模块中提取重要轨迹信息,二者在经过注意力模块后将信息进行有效融合,再将融合后的信息送入到状态细化模块中进行信息的解码以预测未来的轨迹。在实验分析阶段,本算法在滴滴数据集上进行验证,所得结果误差低于基准算法SR-LSTM。本文从不同的视觉感知任务出发,对不同研究对象的视觉跟踪和轨迹预测开展研究,分别提出了具有代表性的SiamSC算法、SiamMFC算法、DM-Tracker算法和DA-LSTM算法,实现了多重挑战性下视觉感知任务跟踪算法和轨迹预测算法性能的提升,为自动驾驶车辆环境感知研究提供了一定的理论与实践基础。同时,相关研究方法还可以在智能巡检、治安巡逻和无人机等领域进行推广应用。