目标跟踪是计算机视觉领域的重要研究方向,受到国内外研究学者的普遍关注。行人跟踪作为目标跟踪一个重要分支,是模式识别及机器学习领域的研究热点之一,被广泛应用于智能监控等领域,具有十分重要的应用价值。随着大数据和人工智能时代的到来,深度学习在图像分类识别领域取得了巨大成功。相应地,基于深度学习的行人跟踪算法也得到了快速发展。近年来,基于孪生(Siamese)神经网络的跟踪器因其能兼顾跟踪精度和速度而倍受关注,得到快速发展,但仍有一些问题需要解决。例如,大多数Siamese及其改进跟踪方法的主干网络均直接采用面向目标分类任务的神经网络,欠缺对同类物体的区分能力。而在行人跟踪中,目标行人极易受到邻近行人的干扰或遮挡,算法有很高的概率丢失正确目标转而跟踪其他行人。其次,Siamese跟踪方法将单目标跟踪问题转化为one-shot目标检测任务,未能充分利用视觉跟踪的时域相关性。第三,Siamese跟踪方法采用视频序列的固定帧作为跟踪模板,在跟踪过程中未提供模板更新机制,难以处理跟踪场景中行人外观的剧烈变化。本文主要研究基于深度学习孪生网络的行人跟踪算法。首先,针对Siamese跟踪方法以分类神经网络为模型主体从而欠缺对同类物体区分能力的问题,引入表观非本质的特征来鉴别不同行人。以SiamRPN跟踪器为基准,加入目标行人的表观信息——颜色分布信息,有效解决其他行人干扰的问题。实验结果证明,与现有主要通过采用更深、更复杂主干网络来提高跟踪精度的改进Siamese跟踪器进行比较,本文算法取得不相上下的效果,为提高跟踪器性能提供了一种轻量而有效的新思路。此外,针对Siamese网络只利用帧内的空间信息,引入卡尔曼算法利用帧间时域信息,有效解决行人跟踪中运动速度过快、遮挡、半遮挡的问题。最后,针对跟踪过程模板固定问题,设计了一种以SiamRPN算法预测的目标位置对应的相似性分数为参考依据的模板更新机制。当相似性分数低于设定阈值时,认为模板帧中的行人与待检测区域行人特征的拟合能力不足,将模板替换为最近跟踪成功的目标。实验证明,该更新策略可以有效地解决跟踪场景中行人因外观剧烈变化带来的跟踪问题。