从传统算法到相关滤波,再到近几年基于深度孪生网络的算法,跟踪准确率和鲁棒性在不断提高的同时,也能保持较高的实时帧率。然而,深度孪生网络不能准确计算出目标掩码,且跟踪器缺乏筛选和强化关键特征的能力,因此在处理易混淆背景干扰、遮挡和准确定位等方面存在不足。本文研究目的是在保持实时帧率的前提下,通过引入注意力机制,改善网络在复杂场景下的跟踪准确率和鲁棒性。本文在深入分析现有深度孪生网络结构的基础上,先后提出在Siam Mask基本网络结构和调优网络结构中融合注意力机制,以达到逐渐优化网络参数的目标。之后,利用改进后的网络,测试其在可见光和红外场景下双模跟踪目标的性能。下面对本文的主要工作内容做出总结:(1)针对孪生网络处理易混淆背景干扰和目标遮挡能力不足的问题,提出在Siam Mask孪生网络特征提取结构中增加注意力模块。为了在基本网络的特征提取时重点关注目标关键特征,在其共享孪生网络部分融合了注意力机制模块。在通道和空间两个维度的约束下,来帮助网络强化目标关键特征,抑制混淆背景和遮挡部分的影响,为后续的前景分类、边框回归和分割掩码提供准确的候选响应信息。在VOT三个基准数据集上的测试分析显示,改进后的基本网络结构具有更优的鲁棒性和期望平均覆盖率。(2)针对孪生网络目标定位准确度不高导致误差累积的问题,继续提出在Siam Mask分割调优网络中添加注意力模块。为了在综合低层空间细节和高层语义后的信息中挑选出有助于精确生成目标掩码的特征,本文在Siam Mask调优网络中多个分割调优单元内增加注意力约束,从而在逐步上采样后减少单个像素被错判的可能性。在VOT2018上的定性和定量结果均说明,融合注意力机制的调优网络全面改善了目标跟踪的准确性、鲁棒性和期望平均覆盖率。(3)为了实现双模通用目标跟踪算法,将改进后的调优网络应用到红外跟踪场景。本文首先自制了多角度拍摄的红外数据集,并给出旋转框标注和评价指标;然后,将改进后的调优网络与多种典型目标跟踪算法在该数据集上测试,对跟踪结果进行定量和定性的分析,说明了改进后的网络在红外目标跟踪上的可行性。