随着计算机工业以及人工智能的迅速发展,人机交互技术作为其中不可或缺的一部分,受到越来越多人们的关注。在众多人机交互的手段中,手势交互是最高效、自然、舒适的一种交互方式,动态手势识别技术可以应用在智能家居、虚拟现实等不同的场合中,具有非常广泛的应用场景。在基于视觉的手势识别场景中,由于存在手部自遮挡、手势动作多样及复杂背景干扰等问题,使动态手势识别技术未在人们的日常生活中普及,因此寻找一种高效的识别方案是手势识别领域的一个重要课题。基于上述背景与难点,本文应用卷积神经网络相关理论知识,设计了结合手势关键点的动态手势识别模型,主要工作内容如下。设计并实现了手势关键点提取网络CPM-gesture,对于输入的RGB手势图像,通过CPM-gesture融合手部关节纹理特征与空间约束关系生成手部关键点的热力响应图Heatmap,并用此来表示手势的空间特征。随后在两个公开数据集中进行实验测试确定参数,得出一个高效的CPM-gesture模型。实验表明,最终模型对手势关键点的预测平均准确率达到了86.2%,可以完整地对手势空间特征进行提取,为动态手势识别阶段奠定了良好的基础。分析动态手势识别过程中所需信息特点后选取C3D(Convolutional 3D)网络作为动态手势识别阶段的网络原型,为了提升模型性能,设计了一种基于手势运动信息的关键帧提取方法,并使用CPM-gesture生成的关节热力响应图与RGB图像两种模态数据作为模型输入,设计和实现了结合手势关键点的动态手势识别模型。随后对多模态数据特征的融合策略做出分析,采用串联融合的方式进行两种数据特征的融合,完成最终的动态手势识别。为了验证模型的可靠性,首先针对以上的改进策略在筛选后的公开数据集Iso GD中与其他方法进行比较,实验表明以上改进均可以提升模型性能。然后将本文提出的算法与使用相同数据集Cha Learn孤立手势识别挑战赛中的主流手势识别算法比较,结果显示本文方法相比与手势识别挑战赛冠军团队算法在识别准确率上有近3%的提升,证明了算法的可行性。