由于高性能计算机的普及、廉价的高质量摄像机和机器视觉技术的发展,目标跟踪作为一种利用视频序列追踪定位单个或多个感兴趣目标位置的算法,已经成为了研究者们关注的热点。然而,目标遮挡、复杂背景、光照变化、复杂运动、尺度变化等问题,和与之相对应的鲁棒性、适应性、实时性的需求,都给高效目标跟踪算法的构建带来了极大挑战。本文主要围绕基于可见光和红外视频的单目标跟踪算法展开,对图像融合、特征模型构建和跟踪算法三部分进行了深入研究,并针对相关的难点和需求,提出了有效的新颖算法,对今后的研究奠定了扎实的基础。本文主要研究成果如下:1.提出了一种基于可见光和红外视频融合的有效深度多视角压缩层模型,算法结合了生成模型和区分模型进行目标跟踪。首先算法使用扩展区域候选网络提供和筛选可以自动改变位置和大小的候选窗。与传统的经典跟踪算法使用相同或相似结果的特征进行模式匹配不同,深度多视角压缩层算法使用压缩层进行动态管理候选窗口局部图像,从而改进目标特征,提高目标的跟踪性能。该算法利用可见光和红外视频间的互补性,建立一种多视角融合算法,进行多传感器间的图像融合。与单传感器相比,深度多视角压缩层算法能够提高跟踪精度、鲁棒性和可靠性。基于可见光和红外的压缩特征,深度多视角压缩层算法将来自具有不同特性的不同传感器的特征融合解决了由不适当的特征提取和分类器引起的不正确的合并问题。然后利用在线支持向量机分类器计算目标跟踪结果,获得目标跟踪的长期轨迹。实验证明对该算法于具有的传统方法相比,该算法表现出良好的性能。2.提出了一种基于可见光和红外视频融合的有效卷积神经网络的相关目标跟踪算法。虽然深度网络已成功应用于视觉跟踪算法,但大多数深度网络算法是通过从众多训练图像中使用离线学习算法进行通用表示,进而完成目标跟踪算法。然而,离线训练过程是非常耗时而且需要大量训练数据,并且其所学习的目标表示是针对于确定对象的,可能存在对于特殊对象不可区分的问题。而本文提出了一种无需大量离线数据的,具有简单有效的无训练的在线卷积神经网络模型,并使用该模型进行鲁棒性的目标跟踪。该算法首先基于已标记的第一帧图像,从可见光和红外图像的目标区域提取一组标准化的局部图像作为目标卷积滤波器,而这些滤波器实际上是一系列围绕目标的自适应上下文特征,这些特征有利于在后续帧中定义和筛选对应目标的特征映射模型。而除此以外算法利用相对跟踪的概念,从可见光和红外图像中分别获取一系列相对跟踪候选窗得到了一系列具有特殊的权重的相关卷积滤波器,与传统的跟踪算法使用背景目标两类分类相比,这类滤波器对于目标的相关信息进行了补充。最后算法使用soft shrinkage算法进行总体的去噪声,并得到最终的跟踪结果。本文提供了一种轻量级且无需特殊融合步骤的跟踪算法,与传统的目标跟踪算法相比,从实验上也验证了该算法的显著的跟踪效果。3.根据两种跟踪算法进行理论和实验上的比较,比较结果显示基于深度多视角压缩层模型的目标跟踪算法对于其跟踪算法部分具有冗余性的问题,而基于卷积神经网络的相关目标跟踪算法中的融合算法会产生不均衡问题,针对这两个部分,算法完成了两个算法的改进和实验。