随着电子技术的飞速发展,计算机及智能设备走进千家万户,自动驾驶及智能控制走进大众生活。在所有智能交互的方式中,手势识别是最自然的人机交互逻辑。近年来计算机视觉等技术迅速发展,脱离数据手套繁琐设备而采用摄像头简单设备的手势识别成为其主流的应用方式。尤其是深度学习在图像识别领域展现出了强大的数据分析能力,基于深度学习的手势识别技术成为了研究热点。相比于二维图像,动态手势视频具有更高的数据量,其是一种更具挑战性的手势识别分类任务,提取繁琐的手工特征在动态手势视频中具有更大的难度和更高的应用成本。本文基于深度学习,研究动态手势视频中手势时空特征的提取及其有效融合办法。针对手势时空特征的提取,本文提出了基于膨胀卷积理论的时空多尺度特征提取。而后通过卷积门控循环单元进一步融合动态手势的短期时空特征,并基于此对卷积门控循环单元进行改进,提出压缩手势空间特征的门控循环单元结构变体,减少模型参数量的同时提高了手势时序特征的融合能力。本文还进一步研究了 RGB-D两种数据模态下手势识别的技术方案,针对手势识别过程中的手部检测及视频关键帧提取流程,本文提出了基于视频输入的手势时空注意力机制数据处理方法,提高了模型对视频中手部关键位置的关注度,同时将迁移学习的方法应用于RGB-D双模态的手势识别技术中,提升了单模态的手势识别精度以及双模态的手势识别结果。为了验证本文方法的有效性,本文在Jester和ChaLearn LAP IsoGD两个大型数据集上进行了多组对比实验及分析,结果表明本文提出的方法解决了动态手势时空特征提取及融合的一些有效性问题,在手势定位、单模态及双模态的手势识别中具有良好效果,获得了较高的识别准确率。