论文部分内容阅读
时空分析方法通过分析时空数据提取目标时域与空域特征,将有意义的数据从总体中分离并应用在后续研究领域中。多视角视频时空分析实现从视频中提取时空数据特征,对目标行为分析,语义判断,场景理解等工作具有重要意义,是计算机视觉领域中非常重要的研究课题。基于多视角视频的时空分析,需要在视频中完成对目标的检测、识别等工作,因此更具有挑战性。本文针对Multi-egocentric视频(也称多视角Egocentric视频)的特点,研究了时空分析方法,并将时空分析方法应用在针对Multi-egocentric视频的群体检测的研究当中。本文以多个相同时间拍摄的Egocentric视频产生的图像序列为输入,结合时空分析方法实现了目标检测、目标匹配、目标位置和朝向估计,最终完成目标群体检测,本文的主要工作如下：1、研究了多视角视频时空分析方法,针对Multi-egocentric视频中的背景变化剧烈、目标尺度差异明显和视角时变性强的特点,本文构建了基于Boosting方法的多目标检测模型对多个视频中的显著目标进行粗检测,并结合时空信息,提出一种基于局部相似度的区域优化算法对目标轮廓进行优化。在Party Scene数据集上的实验结果证明,该算法克服了以上Egocentric视频特点导致的检测结果不准确等问题,在鲁棒性方面较Zhu提出的基于鲁棒性背景度量的显著性优化算法更优。2、研究了基于多视角视频目标匹配、位置和朝向估计算法,结合时空金字塔方法,利用同一目标的不同视角的图像作为输入训练基于HOG特征的SVM分类器,实现多视角视频的多目标匹配。根据Egocentric视频的拍摄特点,利用Ego-motion信息将目标的运动模式分类,提出基于稀疏光流模式匹配的Ego-motion估计算法,并据此估计目标的位置和朝向。在Party Scene数据集上的实验结果证明,本文提出的目标匹配算法、位置和朝向估计算法基本达到同类算法水平,但由于Egocentric视频目标尺度差异明显和视角时变性强等特点,本文算法难度更大,符合预期。3、研究了基于Multi-egocentric视频的群体检测方法,结合时空信息,提出基于目标间距和朝向的瞬时关注度和时空关注度的计算方法,实现目标个体相互关系的度量,以及基于自适应Normalized Cut聚类方法的群体检测算法生成群体检测结果。在Party Scene数据集上的实验结果证明,本文算法针对Multi-egocentric视频的群体检测较IRPM、GCFF、GTCG算法更优。