论文部分内容阅读
为了有效解决视频行人再识别任务中,行人的姿态变化,相机的视角差异,光照的变化,以及障碍物的遮挡等因素带来的影响,我们融合颜色、纹理以及梯度等底层特征信息对行人进行外貌描述,并利用费舍尔向量对描述实现进一步的变换,从而得到鲁棒的行人外貌特征表示,成功地将空间姿态信息和时间步态信息结合到一起。在此基础上,我们首次提出了一种新的时空表征方法,将不同行人在时间和空间上同时进行对齐。在时间上,我们根据步态周期的不同阶段,将视频分割为多个时间片段:同时在空间上,我们根据身体部位的不同区域,将视频分割为多个空间片段。通过这样的时间和空间的分割,我们得到了多个视频块,每个视频块包含有特定动作下特定身体部位的信息,我们称之为身体动作单元。它同时融合了行人身体部位的空间信息和步态动作的时间信息,通过这种表征,使得在进行特征比较时,两行人在时间和空间上实现了对齐。每个身体动作单元可以根据不同行人的步态周期而调整时间分割的长度,也可以随着动作阶段的不同而采用不同的身体部位模型,反之亦然。最终,我们将各动作身体单元中提取到的费舍尔特征串联起来,最终得到一个固定长度的向量作为行人的外貌特征。因此,只要所分割的身体部位和动作阶段的数目固定,我们可以采用任意变化的身体动作模型来提取特征,且最终的特征向量仍然是固定长度的,以便于我们进行不同行人之间的匹配和比较。我们最后还提出将无监督的行人外貌特征表示与有监督的距离尺度学习相结合来进行视频行人再识别,通过利用有标签的数据进行有监督学习,进一步调整不同摄像机之间行人外貌特征空间分布的情况,使得同一行人特征之间的距离减小,而不同行人特征之间的距离增加,从而在结果和性能上达到最佳水平。所提出的表征方法有如下几个优点:1)我们对一个步态周期内的行人外貌进行特征描述,因此,这种描述方法可以完整地覆盖行人步行状态下各种姿势和形态,在提取到行人空间信息的同时,也将时间信息有效的提取出来。2)在进行目标匹配时,这种表征自动将比对的行人在时间以及空间上进行了对齐,尽可能的减小姿态的差异和背景的变化等因素带来的干扰,从而降低行人特征匹配时的难度。3)我们用费舍尔向量进行特征表示,因此每个身体动作单元的尺寸、形状可以随着行人对象及身体部位的不同而调整,而最终得到的外貌特征向量的长度不变,以便于行人的匹配和比较。