人体行为识别是智能监控、人机交互等多个应用领域的核心支撑技术之一,近年来得到了广泛研究。现有的基于视频的方法大多使用原始视频或者等量采样方式提取视频的RGB图像特征和光流特征进行行为识别,该方法容易受到视频中冗余信息的影响,并且随着研究对象越来越多样性,RGB图像特征和光流特征难以表达出视频中的全部信息,影响行为识别准确率的提升。为解决上述问题,本文围绕视频关键帧提取技术和视频特征表达展开研究,提出了一种基于关键帧的多特征融合行为识别方法,并基于该方法构建原型系统。主要内容包括如下:1.针对行为识别研究中的视频信息冗余问题,提出了基于关节点贡献度加权的关键帧提取方法。本方法首先以人体关节点信息作为视频特征描述子,结合人体运动时关节点的活跃度不同,提出了关节点贡献度加权的帧间的相似性计算方法;然后基于相邻帧的帧间相似性划分视频得到聚类的初始类簇;最后使用K-means聚类算法提取运动视频关键帧。该方法与其他基于聚类的关键帧提取方法相比,细化了动作间的差异性并且保证了关键帧的时序性,在保真率和查全率两方面都得到了提升。2.针对视频中单一特征对视频信息表达不足问题,提出了一种基于关键帧的多特征融合行为识别方法。在关键帧研究的基础上,结合RGB图像特征、光流特征、骨架特征进行行为识别。首先利用ResNet152网络结构搭建深度双流卷积神经网络模型提取视频的RGB图像特征和光流特征;然后利用时空图卷积网络模型提取视频骨架特征;最后将两个模型的softmax层输出进行融合,构建出基于关键帧的多特征融合行为识别模型。UCF101数据集上的验证结果表明:基于关键帧的多特征融合行为识别较单一特征行为识别性能提升了7.42%以上。3.根据以上两个研究内容,为了验证本文方法的可行性,在Ubuntu16.04平台上使用PyQT开发框架构建了一套基于关键帧的多特征融合行为识别系统。该系统主要包括文件选择、视频预处理、姿态估计、关键帧提取、行为识别等功能。