人体行为识别技术是随着深度学习成熟与普及后取得迅速发展的重要计算机视觉技术之一,是极具现实与经济需求的关键技术。与以单帧图像为载体的图像识别、图像融合以及图像风格迁移转换等相比,人体行为识别具有数据量更大、任务更复杂以及场景更多样等特点,因此人体行为识别难度相应更大。文本在现有人体行为识别研究的基础上,选取视频中的特定帧以及特定帧中的部分图像块,凸出人体行为中运动的语义主体信息,并在深度学习的基础上,通过与传统算法特征进行融合,达到提高视频特征表征能力,降低网络的复杂度并提升行为识别精度的目的。本文在现有网络的基础上,通过融合深度学习与传统算法特征,加大动作之间的区分度,降低数据规模,提升人体行为识别的速度与精度。主要的工作内容如下:(1)提出基于关键帧选择的快速人体行为识别方法。3DCNN中直接对视频图像帧序列取固定的帧长,进行网络训练。受此启发设计基于关键帧选择的算法输出固定长度的视频特征信息,进而进行行为识别。本算法首先对行为识别图像帧序列逐帧进行特征提取,之后通过关键帧排序得到固定长度的视频特征,然后通过二次排序恢复图像时域信息,再然后通过特征重排列构造固定长度的结构化特征,最后将重排列后的特征经过LSTM学习,提高行为识别精度。在UCF101上的实验结果说明了本章算法的有效性。(2)提出基于背景抑制的人体行为识别方法。既然只选取部分的帧就足够完成对视频的表征,那么通过选取图像帧中有限的图像块理应具有同样的作用。本章借鉴目标检测中的研究思想,首先通过对输入网络中的视频进行低秩稀疏重建,然后采用Unet进行人像区域检测,抑制动作背景信息,达到一方面提高动作之间的区分度,另一方面突出占图像区域比较小的动作在整张图中的权重的目的。算法最后结合动态图方法对固定长度的图像序列动态加权,达到凸出运动主体、降低数据量且提升特征的表征能力,进一步提高行为识别精度的目的。(3)提出基于背景融合的人体行为识别方法。直接通过背景抑制的方法对输入网络的图像进行处理,破坏了动作的上下文信息,不具有视觉上的可解释性。本章在基于背景抑制的人体行为识别算法基础上,首先利用动态图算法,完成去背景图像与含背景图像的融合,最后将融合了背景信息的动态图送入Res Net学习。网络一方面具有背景抑制中凸出前景动作的效果,另一方面保持了完整的动作上下文背景信息,从而提高了行为识别分类精度。