视频序列配准是图像处理的一个重要领域,是对不同摄像机从不同角度或者不同时间拍摄的相似视频序列进行时间同步和空间几何校准的技术,广泛应用于视频监控、目标识别、视频拼接以及三维重建等众多计算机视觉领域。本文主要的研究工作以及成果如下:1、详细讨论了两种经典的基于轨迹的视频序列配准方法,这两种方法分别是基于时间线约束和基于轨迹射影不变表示的方法。研究表明,目前的方法存在一些问题。基于时间线约束的方法采用背景图像间的对极几何信息描述轨迹点,同时利用轨迹与对极线的交点寻找候选匹配轨迹点,该方法对于运动轨迹是曲线的视频序列可以获得较好的配准效果,但是对于轨迹近似是直线并与其对极线重合的视频序列,由于找到的轨迹与对极线的交点太多致使配准效果较差。基于轨迹射影不变表示的方法,采用轨迹点邻域内的形状信息描述轨迹点,同时利用交比的统计特性寻找候选匹配轨迹点,从而实现视频序列的时间同步,但是该方法对于轨迹上存在大量形状特征相似的轨迹段的视频序列,获取的描述符不具有很好的区分性致使配准结果误差较大。此外,上述两种算法描述轨迹点时均忽略了运动目标与背景特征之间的空间信息。2、针对以上两种算法存在的问题,提出了一种基于运动信息与背景信息相结合的视频序列配准算法,该算法首先采用低秩与稀疏分解算法分别提取参考视频序列和待配准视频序列的背景图像和运动轨迹,并采用特征点检测与匹配的方法,获取背景图像的特征点匹配对;其次利用获得的背景图像的特征点匹配对,计算背景图像间的基础矩阵,并从中选取三维空间中不共面的四个点对应的匹配点对;然后利用运动目标与背景特征的空间信息来进一步提高轨迹点的可区分性,采用三维空间中不共面的四个点建立的坐标系以及对极几何约束共同对轨迹进行描述和匹配,获取候选时间对应点的集合;最后采用随机抽样一致性算法对候选时间对应点的集合进行时间线拟合,确定参考视频序列和待配准视频序列之间的时空变换模型参数。仿真实验表明提出的算法与基于时间线约束和基于轨迹射影不变表示的方法相比,能够获得更加精确的配准结果,尤其对于场景中运动目标的轨迹近似是直线并与其对极线重合或者轨迹中存在大量局部特征相似的轨迹段的视频序列,提出的算法依然能够获取很好的配准效果。