单目标跟踪要求在一段视频序列中仅根据有限的第一帧信息,在随后时空连续变化的情况中准确找到目标,其中涉及的变化包括空间的变化、时序的变化、目标的表观变化。目标跟踪技术在实际生活的许多方面都有重要应用。本文以孪生网络类的目标跟踪算法为基础研究对象,从网络结构、时序信息建模、参数微调三个角度进行改进。1,从网络结构角度,提出一种改进的二分支孪生网络结构,首先使用传统的孪生网络分别对输入的模板图和搜索图提取特征,计算互相关,进行初步的匹配训练,将训练得到的网络参数的浅层部分作为共享层,深层部分网络参数复制一份作为第二个分支,将共享层参数和第一分支参数固定,对第二分支的参数进行补充训练,同时训练一组向量对两分支进行特征级的融合。可以保证在大规模数据集上训练的特征表示保持有效性,不被特定视频的噪声所劣化,同时又能为特定参数的调整留出改进空间。从而提高了算法的精度,同时也为算法的后续改进提供了有力保障。2,从时序信息建模的角度,本文针对目前孪生网络系列方法在目标跟踪领域的不能利用时序信息,构建了一种可以自适应调整边界框形状的强化学习智能体,将上一帧的边框形状和当前帧的目标所在区域特征图,作为强化学习的状态输入;将三个调整边界框形状的动作作为输出,让智能体在连续的视频帧上迭代式训练,对孪生网络所预测的目标形状进行进一步优化,提高算法的精度。同时,强化学习的马尔科夫过程也将时序信息建模到目标跟踪的问题定义之中,为算法的稳定性也提供了更深一层的保障。3,从参数微调的角度,将跟踪器在特定视频的适应性微调的问题阐释为一个“一样本学习”问题。使用元学习的思路,基于未来的新任务,而非仅仅当前数据,进行梯度优化,得到一种对未来的新任务更加敏感的网络初始化参数。对应到视频目标跟踪的任务中,即训练对未来几帧的目标外观进行表示。为了实现这一功能,需要对传统的梯度下降算法中的优化步长也进行梯度更新。这样训练得到的网络参数对未来的变化具有更强的鲁棒性,也可以利用更少的反向传播次数在新的视频任务时进行更快速的优化。