唇语识别技术是从语音识别中发展出来的一个分支。在过去的几十年中,人们越来越多地开始使用视觉提示来帮助解码语音,模仿人类进行唇读的能力,从而开发了自动唇读系统。与音频或视听系统相比,自动唇读系统的性能仍然落后。唇语识别技术的主要挑战之一在于视觉上的歧义,由于同音字而使单词识别难度增加,同音字产生相同或相似的嘴唇运动。此外头部位置的变化、照明条件、时空分辨率、时空信息的有效编码等因素也极大的影响了唇读识别的鲁棒性。本文提出了一种中文唇语识别方法,先对图像中唇部信息进行拼音识别,然后采用自注意力机制对拼音序列进行汉字识别。具体的内容如下:（1）提出一种基于双支网络与全局上下文关联的时空卷积的唇部图像转拼音识别算法。对唇部运动轨迹相同或相似的词语使用Res Net-34网络对输入的唇部图像序列进行特征提取,对于唇部运动轨迹差别较大的词语使用Dense3DNet-56网络进行特征提取。采用一个mask结构对两个模块的信息进行融合。提出了一个全局上下文关联的时空卷积（NTCN）,用来对提取的唇部运动特征图进行识别,对原有TCN内部的结构进行改进,可以更好的关联上下文信息。（2）提出一种基于自注意力机制的唇部拼音转文本识别算法。不再使用之前传统的序列识别模型必须结合卷积神经网络或者循环神经网络的固有模式,使用的尺度点积注意力机制算子在有效减少模型计算量的同时提高了网络的并行效率。采用的多头尺度点积自注意力机制利用模型获取的不同表示子空间的信息并进行联合,使得模型可以更好的关注上下文的信息,根据拼音判断汉语的句法和语义结构。