论文部分内容阅读
全国各地新型智慧城市建设风起云涌,未来将是一个全联接城市,监控设备在城市各个重要角落必然无处不在,随之而来的是海量的监控视频数据,因此迫切需要智能化的系统对海量的视频数据进行标注、处理和分析。行人再识别技术是智能视频监控、刑侦和安保等领域的核心技术之一,它包含了数据准备、网络构建和训练、特征提取和距离度量等技术。本文围绕深度学习条件下的多摄像机行人视频目标再识别主题,开展了数据智能标注、视频目标区域精细分割、基于图像及掩膜的行人再识别和基于视频序列的行人再识别四个方面开展了相关的研究工作。本文的主要研究工作如下:1)针对数据标注方法较为原始,功能单一而且操作较为繁琐,数据集制作效率低下,基于人在环中的智能标注思想,提出了用于增强深度学习的数据集标注方法。在此基础上,设计了一种基于深度学习的交互式数据自动标注验证系统。实验结果表明,该方法集自动标注、纠正错误、更新数据集、强化训练、更新模型和重新标注功能于一体,提高了图像及视频数据标注的效率和准确率,更有利于后续bounding boxes内视频目标区域的提取。2)针对深度学习目标检测算法输出的bounding boxes内存在背景干扰,影响了行人再识别准确率的提高,分析了常用的视频目标区域分割方法。在此基础上,提出了一种深度学习条件下bounding boxes内目标区域精细分割算法。该算法首先利用目标区域所在矩形框周边的背景像素信息,采用子块区域生长算法进行粗分割,再采用SRG Grab Cut算法进行细分割。实验结果表明,该算法能够快速、有效地提取bounding boxes里的目标区域,更有利于后续行人再识别。最后,设计并实现了一个深度学习条件下的视频目标区域精细分割算法验证系统。3)针对当下行人再识别任务存在着不同的行人特征相似,相同的行人特征不像的难点问题,提出了一种基于图像及掩膜的行人再识别改进方法。首先,基于Resnet50框架和PCB-6分块的思想分别构建了改进后的网络结构,训练完成后,在构建的图像及掩膜测试数据集上完成测试,实验结果表明,该方法能够提高行人再识别的准确率。最后设计并实现了深度学习下多摄像机全景监控的行人再识别验证系统。4)针对单帧行人图像的信息非常有限,分析了结构化行人序列的特性,在此基础上,提出了一种基于DTWT的结构化行人序列再识别方法。首先,基于Resnet50框架构建了网络模型,并在MARS数据集上进行训练,训练完成后,将测试样依次送到特征提取网络,得到样本序列的特征矩阵,再根据提出的DTWT算法计算查询序列和待匹配序列的距离,排序。实验结果表明,该方法能够利用帧与帧之间的运动等时空信息,提高行人再识别的准确率,直观地解释多帧信息的有效性。