随着智能视频监控系统的广泛普及,计算机视觉理论研究不断深入,其中目标跟踪在理论研究和实际应用上获得了越来越多的重视,已然成为计算机视觉研究范畴中的重要课题。为了克服在单一的可见光视频中目标跟踪算法应对复杂环境的局限性,如雾霾天气、低照度、背景杂乱等,可以通过融合除了可见光视频外的其他模态的视频信息,如热红外视频,从而实现对目标更稳健持续的跟踪。近年来的多模态目标跟踪方法,尤其是可见光-热红外跟踪,主要集中在研究目标外观的稀疏表示模型上,因为稀疏表示模型具有抑制噪声和降低误差的能力。然而,现有的多模态目标跟踪方法大多只考虑候选目标的整体结构或其内在结构,忽略了目标的整体和内部信息对于目标跟踪的可靠性,未能将多模态视频信息实现自适应融合。针对基于稀疏表示的多模态目标跟踪问题,一方面,如何在融合两个模态的视频信息的同时兼顾各模态下的稀疏表示系数的相关性,实现更加鲁棒和稳定的多模态目标跟踪。另一方面,如何构建一个目标稀疏表示模型,既能系统地表示跟踪目标的全局和局部外观,同时又能抑制背景信息的影响。本文主要进行了以下两方面的研究:(1)在多模态目标跟踪过程中,为了应对不同的场景条件,做到自适应地融合各模态信息,在不同场景条件下适当取舍各模态视频信息,实现更加准确的表达目标外观,本文在粒子滤波框架下,提出了一种基于协同稀疏表示模型的多模态目标跟踪方法。本文提出的多模态协同稀疏表示模型考虑到了不同模态的视频信息在不同场景条件下对于目标表达的贡献度不同,使用了能够自适应更新的模态权重。其次,本文在该模型的联合求解过程中为保证不同模态之间的稀疏重构系数的一致性,加入了稀疏重构系数的跨模态一致性约束。最后,本文在公开的可见光-热红外目标多模态单目标跟踪数据集上进行了大量实验验证了该算法的有效性。(2)为了更好的表达目标外观,更鲁棒地应对多模态目标跟踪过程中目标发生的较大的外观变化,通过观察可知,在目标跟踪的过程中,目标在不同场景条件下,目标内部的局部图像块对于跟踪结果表达的贡献度不同,于是本文提出了一种基于加权结构化稀疏表示的多模态目标跟踪算法。该算法在粒子滤波框架下讨论目标跟踪问题,在对目标进行稀疏表示的同时,通过一种特殊的特征提取方式构建候选样本与目标模板的局部图像块之间、候选样本集与目标模板集之间的多模态结构化稀疏表示模型,兼顾了目标的局部和全局外观信息。其次,该模型考虑到目标遮挡或其他干扰因素的影响,引入了能够反映局部图像块对于目标表达的重要性的局部图像块权重及其跨模态一致性约束,为跟踪目标建立了对于遮挡和形变不敏感的多模态加权结构化稀疏表示模型。优化求解该模型后,将似然函数值最大的候选样本选定为最终的目标跟踪结果。最后,本文在公开的可见光-热红外多模态单目标跟踪数据集上进行了大量的对比实验,验证了该算法的有效性。