目标跟踪是计算机视觉领域的重要任务之一,在军事、商业、医学等领域均有重要应用价值。目标跟踪的主要挑战在于如何区分并处理目标外观发生的本征和非本征变化,因此,鲁棒性的外观模型一直是学者们追求的目标。论文在总结目标跟踪基本理论和基本方法的基础上,针对传统的目标跟踪方法对目标外观变化容忍度不高的问题,充分考虑时空域的视频帧线索,以及目标内部的时空结构关系,获取目标的结构先验信息并融入外观模型,并将结构先验的思想延伸至多目标跟踪任务上,构建目标间的结构保持关系,同时,为了提高密集样本似然的计算效率,将核方法和傅里叶变换引入到置信度推理过程,最终实现了实时的多目标跟踪。主要开展了以下工作：(1)从外观建模和运动建模的角度,总结概述了目标跟踪的基本理论、基本方法以及目标跟踪难点。(2)描述目标内部以及目标间所存在的结构关系,构建了结构化的目标表示方法,分析其对目标外观建模的重要研究价值。(3)为建立单个目标的鲁棒性外观描述,将结构先验与几何约束融入到超像素跟踪算法。采用无向图结构建模目标的超像素及其空间位置关系,并加入历史观测信息推理图节点候选位置置信度,通过多组实验证明了方法的有效性。(4)通过建立在线更新的结构保持模型,约束多目标间的空间位置关系；提取目标周围区域作为正例样本,通过引入循环矩阵理论和傅里叶变换,实现了对搜索窗口内所有候选位置置信度的快速推理,完成多目标的实时跟踪。