行人的检测与跟踪是计算机视觉中十分重要的课题。然而,由于物体的遮挡、相机视角的有限等问题,使用单个相机跟踪行人往往会面临着巨大的挑战。使用多相机进行跟踪可以从多个视角观察行人,因此可以提供更加丰富的视觉信息用于解决跟踪中常见的这些问题。本文提出了一种多相机行人跟踪系统,该系统的流程大致如下:1、使用多个相机采集行人的视频信息,并传输到处理中心2、对于每个相机采集到的视频进行行人检测,得到行人的相关特征。3、根据检测结果进行单相机下行人跟踪。4、进行多相机下行人的匹配与特征融合,最终得到行人在公共平面上的运动轨迹。基于神经网络的行人检测算法,能够实现高效的行人检测效果。接下来,我们应用马尔可夫决策过程对跟踪对象状态进行建模,分为初始化状态、跟踪中状态、跟踪丢失状态、终止状态。每一帧中提取跟踪对象和检测算法检测到的行人的特征,并进行相似度的计算,最终进行二分图的最大匹配。得到跟踪对象和检测目标的匹配结果后,根据匹配结果更新跟踪对象的MDP状态。对于跟踪对象没有匹配到检测目标的情况下,可以利用对抗生成学习的方法,依据跟踪对象的前几帧图像,生成其在当前帧的图像。根据跟踪对象在当前帧的图像,可以更新其图像特征。最后的环节是多相机下行人的匹配与融合,我们通过单应性矩阵将相机平面的跟踪对象投影到公共平面上,然后在公共平面上进行不同相机下的跟踪对象的匹配。匹配的依据主要是跟踪对象的位置信息和图像特征。在属于同一行人的跟踪对象正确匹配之后,我们可以得到该行人在公共平面上的运动轨迹。