视觉目标跟踪是计算机视觉中的一个重要研究方向,有着广泛的应用前景。虽然过去二三十年视觉目标跟踪技术取得了长足的进步,特别是近两年随着深度学习的发展,视频目标跟踪方法取得了一定的进展。然而,很多跟踪网络采用的孪生网络架构采用老式网络骨架,这种骨架深度较浅,不利于网络架构的持续优化。因此如何基于深度学习算法,更加高效的完成更高层级的图像理解任务具有非常重要的研究意义。本文根据目前视频跟踪存在的问题,对基于深度学习的目标跟踪框架进行了探索与研究。基于时下单目标跟踪孪生网络骨架层数较浅的现状,本文通过消融实验,对网络骨架替换为深度不同的其他网络(残差网络等),从网络深度、感受野、填充与否等不同角度探讨影响孪生网络性能的因素,并根据实验数据总结出优化孪生网络性能的方法:输出特征的接受域应该根据其与范例图像大小的比例来设置;在设计网络体系结构时,应将网络步长、感知域和输出特征量作为一个整体来考虑;对于全卷积Siamese匹配网络,处理两个网络流之间的感知不一致问题是至关重要的。本文使用原始残差网络的残差单元和下采样单元,基于上文对孪生网络的优化,针对残差单元不利于孪生网络最终性能的因素(填充、步长、感受域等)对上述两个单元进行了改良,减弱了原生单元的填充影响,同时减少了参数,并通过减少步长使得网络可以感受更多的特征,使其和Siamese架构更加的契合。且基于优化后的残差单元和下采样单元,搭建了新视频目标跟踪网络NewResNet。本文采用VOT-2016基准视频数据集,通过设置对照试验,评估了优化模块中不同因素对网络性能的影响。实验数据证明优化模块相对原生模块性能更优,验证了上文孪生网络影响因素的正确性。本文在VOT-2016基准视频数据集下测试新网络的性能,通过准确率、鲁棒性和期望平均重叠三重指标,将NewResNet的性能与原网络SiamFc和其他网络进行对比,测试结果表明:相对于原生孪生网络架构SiamFc,新网络的准确率、期望平均重叠指标更为优秀,鲁棒性得到降低,但实时性相对减弱,综合性能优于SiamFc;在与各种网络的比较中,新网络的性能排名中上,较为优秀。