论文部分内容阅读
人体动作分析是人机交互的一个重要研究问题,在以人为中心的自然人机交互系统中,准确和快速地识别人体动作是实时交互的前提和保障。早期的人体动作分析大多基于二维视频图像序列展开,由于2D图像易受光照变化、复杂背景、相机视角等综合因素的影响,所以研究存在很大挑战,交互应用也十分受限。近年来,随着深度传感器技术的快速发展,借助低廉的深度传感器就可以高精度的对人体三维骨架序列进行采集。相比于2D图像信息,人体3D骨架序列能够更加直观和准确的描述人体运动,所以极大的促进了人体动作分析研究。本文针对人机交互系统中的三维人体动作分析问题,基于人体3D骨架序列开展动作分析研究。由于深度传感器的高频率采样,导致了动作姿势序列中存在大量冗余帧,给动作数据的存储、检索和识别带来困难,所以主要围绕着动作姿势特征描述、关键帧提取、分类识别以及交互应用进行研究。主要工作包括:（1）基于3D骨架序列的动作姿势特征描述。利用深度传感器采集得到人体骨架关节数据,建立人体3D坐标系,并采用特征关节点之间的相对距离对动作序列中的静态姿势进行描述,然后结合实际项目,总结人机交互应用系统中存在的主要肢体动作,建立动作数据集Visswust3DMotion,为后续的三维人体动作分析研究打下基础。（2）三维人体动作关键姿势帧提取技术研究。首先,针对当前聚类算法提取关键帧存在的关键帧个数难以自动确定,朴素聚类会破坏动作时序的问题,提出了一种基于3D骨架关节点空间距离特征和时间约束X-Means聚类的动作关键帧提取方法。实验结果表明,该方法能根据动作姿势序列的内容自动确定关键帧数目,并能保存动作的时序特征,提取出的动作关键姿势帧,在视觉上能有效的表征动作姿势序列的内容。其次,针对当前曲线简化算法提取关键帧存在的误差阈值调节复杂、提取的关键帧难以满足用户需求的问题,提出了一种基于可视交互的三维人体动作关键帧提取方法,并据此设计了一套支持可视编辑的3D人体动作定义系统。从实验结果来看,该方法能够更加方便、准确、高效地获取动作关键帧序列和生成标准动作库。（3）三维人体动作识别技术研究。在分析了当前主要的人体动作识别方法后,分别研究和实现了基于连续马尔科夫模型（CHMM）和动态时间规整（DTW）的人体动作分类识别方法,并针对利用原始姿势序列和DTW匹配的动作识别方法存在的识别率低、识别速率慢、鲁棒性弱的问题,提出了基于关键姿势和DTW的人体动作识别方法。实验结果表明,该方法相比于基于原始姿势序列的DTW识别方法具有更高的识别率,更快的识别速率。相比于CHMM的识别方法,虽识别率略低,但在算法的复杂度和识别速率上具有更大的优势,所以本文推荐在实时人机交互系统中使用基于关键姿势和DTW匹配的人体动作识别方法。（4）本文针对交警指挥动作训练中存在的训练过程枯燥、依赖于交警现场的指挥经验、训练数据难以记录等问题,结合Unity3D平台和本文提出的人体动作分析方法,设计和开发了一款虚拟交警指挥动作训练系统。实验结果表明,该系统在交警指挥动作教学和智能交通领域具有一定的应用价值。