语音识别一直是人机交互技术的重点研究内容,而在实际场景的语音识别总会受到各种干扰信息,比如场外噪声信息、多说话人交叉信息,这些都使得语音识别变得困难,系统性能下降。针对这些不足,在语音识别系统中引入与其不同模态的唇部视觉语音信息,该唇部视觉语音信息不受音频干扰,且唇动信息同样包含了丰富内容,可以帮助对语音信息的理解。在此背景下,本文提出一种端到端的视听语音识别模型,主要研究内容如下:1、视听特征的提取及其模态处理。提出一种具有瓶颈结构的稀疏深度信念网络来分别提取视听语音特征信息。为了规避维度灾难并使传统的深度信念网络对输入数据有更强的鲁棒性,通过在网络的目标函数中以非重叠组套索的方式引入l1/2范数与l1范数来构造一种稀疏深度信念网络,达到对视听特征的稀疏表示。同样,为了后期视听特征的模态级融合做准备,分别使用一层双向长短期记忆网络（Bidirectional Long Short-Term Memory,BLSTM）对特征作模态处理。2、视听信息的模态级融合。为解决视听不同模态信息融合时在时序上不一致问题,本文提出使用一种注意力机制将音频流BLSTM的输出与每一时刻的视觉流BLSTM的输出进行“匹配”,将匹配分数与视觉流BLSTM的输出进行线性组合,此时得到的结果是与当前音频流BLSTM输出相对应的视觉流文本向量,将两者通过连接层融合,这样一来可以自动对齐、融合不同模态的视听信息,得到更加高级的视听融合序列表示,便于后续分类识别。3、对视听融合信息进行分类识别。使用附加了一层BLSTM的Softmax层来进行多分类,将输入的视听序列映射为输出类别的概率表示,以概率最大的类别作为最终分类预测标签。实验表明,所提出的算法模型可以有效地识别视听觉信息,在同类算法中有很好的识别率与鲁棒性。