手语是听障人群的日常交流方式。手语识别将手语翻译成文本或语音进行输出,极大地促进了聋哑人群与其他人群之间的交流。同时,手语识别是人机交互系统发展的一个重要领域,在智能交互时代具有重要的现实意义。因此,本文针对非特定人的中国手语词识别研究不仅具有丰富的理论意义,而且拥有广阔的应用前景。首先,阐述了手语识别技术的国内外研究现状,介绍了卷积神经网络(Convolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Network,RNN)的理论基础,研究了基于深度学习的手语识别方法,并设计了基于深度学习的手语识别系统。其次,针对手语识别中存在手语词间的混淆干扰、时空关联性不强的问题,本文提出一种基于长短期时空特征的手语词识别方法。该方法首先将手语数据进行预处理,然后将残差结构引入到三维卷积神经网络(Three Dimension Convolutional Neural Network,3DCNN)中提取手语序列的短期时空特征,接着利用卷积长短时记忆(Convolutional Long Short Term Memory,ConvLSTM)对这些短期时空特征进行充分的时序建模,最后将时空特征采用Softmax分类器进行分类。实验结果表明,该方法针对非特定人群具有很好的泛化性能,能够有效提升手语识别效果。然后,针对手语序列中冗余信息多的问题,本文在上述手语识别框架的基础上引入了时空注意力机制,提出一种基于时空注意力的手语词识别方法。该方法在空间上通过设计残差三维卷积模块构建空间注意力模型,以一种弱监督的方式学习强调特征图中的显著内容;在时间上通过将时间注意力机制引入到ConvLSTM网络来识别输入视频中最相关的帧,实现了不同时刻对视频帧的不同关注。实验结果表明,引入时空注意力机制的模型能够进一步提升识别效果,识别率达到了95.5%。最后,利用本文提出的模型构建中国手语词识别系统,并在自建的中国手语词数据集上进行实验和分析。该系统可以实现面向非特定人的手语词识别,符合实际需要,通过系统测试验证了本文方法的有效性和可行性。