论文部分内容阅读
近年来,计算机技术及网络技术迅猛发展,计算机视觉被广泛的应用于各个科学领域。而人体动作识别作为计算机视觉的一个重要分支,其本质就是针对运动视频中的人体动作信息进行正确分类,它在智能监控与安防、人机交互、运动分析等领域有着十分重要的意义。目前人体动作识别方法还存在以下问题:首先,如何提取视频中的运动信息并进行表征一直是该研究领域的难点之一;其次,随着Kinect等深度相机的出现,为研究者们提供了人体动作视频的深度信息,而如何有效利用这些深度信息实现人体动作的识别与分类也是一个重要的研究问题;最后,当样本数据量较小时,如何利用深度学习网络模型实现较高的人体动作识别率?本文基于UTD-MHAD数据库,针对Kinect同时捕获的RGB视频与深度视频进行人体动作识别的研究,并就以上问题开展了相关讨论与分析,具体内容如下:(1)针对RGB视频,为了同时获取运动的空间信息与时间信息,文中提出了一种改进的运动历史图的方法:去除视频首尾冗余帧,保留关键帧,然后提取灰度运动历史图像,然后使用彩虹编码将其伪彩色化,增强感知质量,再对数据进行垂直镜像与加噪,增广数据。通过实验验证,改进后的运动历史图像方法的识别准确率提升了 14%,验证了方法的有效性。(2)针对深度视频,首先对每个三维像素点旋转一定的角度,模拟不同的视角,并增加数据量。然后将深度视频的每一帧投影到三个正交平面,获得深度运动图来表征运动信息。接着对其进行彩虹编码,增强数据。实验数据表明,该方法可有效提升深度运动图的识别准确率。(3)为了充分利用由RGB视频与深度视频提取的运动信息,构建了一个四层的并行网络,分别以彩色运动历史图、深度运动图的前视图、侧视图、顶视图作为输入数据,通过实验选择合适的卷积神经网络模型进行微调。(4)为比较特征融合与决策融合这两种信息融合方式的性能,分别进行实验,先比较了不同特征融合方式的结果,然后采用不同的融合法则(权重法则、平均法则、乘法法则等)进行决策融合,获得最终的分类结果。最后还实验了两种验证方式(跨目标验证与同目标验证),表明了样本的类内差异。(5)在Ubuntu环境下MATLAB编程平台上,开发了一款人体动作识别软件,并且通过实验证明了本文方法的有效性。