论文部分内容阅读
随着城市的人口增长和人口迁徙活动加剧,公共场所出现大规模人群聚集现象,导致群体安全事故频繁出现。因此,利用计算机视觉方法对公共场所的监控进行人群行为分析成了新的研究热点。并且人群行为分析在智慧城市建设、商场规划、交通规划等领域也有着相当大的意义。人群行为分析技术从层次上分为底层特征分析和高层特征分析。前者主要是对人群进行密度估计,其目标是对一张含有密集人群的照片生成包含人群分布信息的人群密度图,以及获得行人数目。该问题的难点在于人与人和人与物体之间的遮挡导致的漏检和错检,以及视角变化使得同一图像前后尺度变化过大,对算法的拟合能力要求很高。后者主要是人群行为理解,其目标是对含有人群行为的视频片段进行人群行为的理解,检测出人群异常行为。该问题的难点在于难以对人群正常和异常行为进行明确定义,以及视频片段的时空信息难以提取,并且人群异常行为过少使得数据集出现了极度不均衡,导致算法出现学习偏差。针对人群密度估计问题,本文提出了一种基于卷积神经网络的人群计数算法EFCCNN,可以从密集人群照片生成高质量的人群密度图并实现精准人群计数。针对于人群行为理解,本文提出一种基于3D卷积神经网络的人群行为理解算法,可以对带有人群异常行为的视频进行精确检测。本文的主要工作如下:1、本文提出了一种基于卷积神经网络的人群计数模型,该模型综合使用了多感受野分支网络和SENet通道增强结构。在多感受野分支网络中,通过设置不同列的感受野,提高了不同大小人头的信息捕捉能力。在SENet通道增强结构中,通过通道重赋权,增强重要特征通道和弱化非重要通道,然后使用残差连接传递了信息,有助于解决遮挡和尺度变化问题,提高人群计数的精度,在ShanghaiTech数据集B集上的消融实验结果表明,使用SENet结构使得基础网络的人群计数平均绝对误差指标上降低了12.7%。2、本文针对人群计数算法设计了一种新的损失函数,该损失函数关注了生成的人群密度图的质量,有助于解决在不同背景下的计数不准确问题,提高了人群密度图的质量和人群计数精度。在ShanghaiTech数据集B集上的消融实验结果表明,使用新损失函数比未使用新损失函数的基础网络,人群密度图的平均结构相似性指标上提高了14.7%,人群计数平均绝对误差指标上降低了14.2%。3、本文将EFCCNN在ShanghaiTech数据集上进行消融实验,验证了SENet结构和新损失函数的影响,并将EFCCNN在ShanghaiTech、Mall和UCFCC50三个公开人群计数数据集上进行训练和测试,并与其他人群计数方法进行对比,验证了EFCCNN方法的有效性。为了进一步展现算法的设计思想,本文对EFCCNN进行可视化,验证了结构符合设计思想。另外,本文将EFCCNN方法在实际场景中进行了测试,验证了EFCCNN算法的泛化性和实用性。4、本文在定义人群异常行为的基础上,提出了一种基于纤维化3D卷积神经网络的不均衡数据的人群行为理解算法,以人群密度流图为输入,通过微调进行迁移学习,完成人群异常行为的检测。在算法实现中,本文基于UMN数据集,手工标注了774张含有人群密度分布情况和人群行为标签的人群密度图,然后通过迁移学习,使用EFCCNN对UMN数据集进行人群密度流图的生成,进而对人群行为理解算法进行了训练和测试,并与其他几种方法进行了比较,验证了本文方法的有效性。