手语是听障人士交流的主要方式,主要通过手臂以及手部动作、身体运动轨迹以及面部一些细微的动作来表示。但对于不熟悉手语的人群来说,要理解手语的含义十分有难度。根据世界卫生组织数据显示,在全球范围内,患有残疾性听力损失的人数已达4.66亿之多。研究手语识别对于听障人士之间相互交流以及听障人士与非听障人士交流有着重要意义,能够促进听力及语言障碍者获取更加便捷的学习、工作与生活方式。手语识别的目的是将手语视频或图像翻译为文本或者语音输出。根据识别对象的不同,手语识别可分为孤立词识别与连续语句识别。同时,手语运动区域分割后的运动区域图像以及运动区域的识别可以用于智能人机交互领域。近些年深度学习的迅速发展,使得计算机视觉领域的研究有了另一个维度的思考方式,通过不同研究者的实验,证实了基于深度学习的算法具有泛化能力强、建模能力出众以及提取特征丰富有效的优势。基于此,本文在使用深度学习方法的基础上,进行了手语运动区域分割与手语识别研究,主要的研究内容包括:1、为了提升手语运动区域分割的准确性与直观性,提出了基于Deeplab V3+与Mobile Net V2的手语运动区域分割方法。采用该算法进行手语运动区域分割,不仅能够将运动区域有效分割,还能够保留运动区域在原图像中的位置信息,进一步得到直观的运动区域轨迹。2、将手语运动区域分割模块与手语特征分析模块联结以实现手语RGB图像序列的运动区域分割、跟踪、表征以及识别。在手语运动区域分割的基础上,提出了基于分割图像的手语识别方法。由于动态手语数据源多为视频格式,所以不仅空间上手语运动区域非常重要,时间域上运动轨迹同样对于手语词的识别结果有重要意义,故采用基于时域位移模块的残差网络作为手语分析的主干网络,不仅能够有效进行手语时空域建模,还仅保留二维卷积的计算参数量。最终在含有500词的大型手语数据集SLR500上,获得了89.1%的识别准确率。3、为了实现对手语完整图像以及运动区域图像的全面分析,在运动区域分割的手语识别框架基础上,增加基于手语全局图像分析分支,形成改进的手语分析双流网络,最后将两分支的分类结果进行数据融合,最终在SLR500数据集上得到了94.7%的识别准确率。