随着人工智能技术的发展,人机交互的种类和模式发生了巨大变革,从传统以机器为核心的交互模式逐步过渡到以用户体验为核心的智能交互模式。其中,语音识别是智能交互中最受欢迎的交互模式,在无噪声的安静环境下,能够取得与人类相当的识别水平,但是在车载或安防等语音质量低下的场景中,识别准确率会急剧下降,而唇语识别正是用于弥补语音识别这一不足的新型智能交互模式。唇语识别是一种对发音时的唇形变化进行建模,使用序列转换模型解码出对应文本的技术。它仅从视觉特征入手,无需对语音信号进行分析,能够有效克服语音识别在复杂环境下的种种不足。唇语识别显然是一个极具发展潜力和应用价值的研究课题,但面部特征的复杂多变,同音字及协同发音现象都为训练一个高准确率的唇语识别模型带来了挑战。本文从唇语识别的统计框架出发,首先改进了现有的唇形特征提取网络,其次提出了一种改进的端到端声学模型,同时,为了能在现有端到端模型中有效结合语言模型知识约束,本文着重关注了如何利用有限状态机理论机制,构建包含声学模型和语言模型完整知识源的静态推理空间,希望在提升识别准确率的同时,有效降低解码搜索所需的时空消耗。本文的研究内容及主要创新点包括:(1)提出了一种改进的多流融合特征提取网络。将建模时序上下文的光流、建模唇部轮廓变化的关键点及自学习得到的抽象卷积特征进行结合,构建具有鲁棒性和泛化性的唇形变化特征。(2)提出了一个改进的端到端声学模型。针对现有端到端声学模型中常用训练准则的不足和缺陷,提出了一种改进的、应用级联多任务序列转换训练准则的端到端声学模型。(3)基于有限状态机理论,为唇语识别系统构建了包含完整知识源的静态推理空间。能够有效解决现有端到端唇语识别模型难以与语言模型结合的难题,提升了唇语识别的准确性和高效性。