随着近些年来,深度学习和机器学习在各个领域变得日渐火热和流行。融合了深度神经网络和隐马尔可夫思想(HMM-DNN)方法的混合模型,帮助传统的语音识别模型在准确率上更上一层楼。虽然识别效果不错,但是混合系统模型依旧面对着许多难点比如:解码消耗的计算空间大,训练流程不够简洁明了等问题。为了能够解决这些难点,基于端到端的语音识别方法应运而生。其中以基于注意力机制的端到端模型效果最佳,目前主流的效果比较好模型包括有:听,注意,拼写模型(Listen,Attend and Spell,LAS),Transformer模型以及深度前馈序列记忆网络(DFSMN)模型。虽然目前端到端的语音识别方法效果不错,但是也没有达到尽善尽美的程度,其中依旧存在一些问题有待研究,本文主要研究了端到端语音识别的建模问题,主要工作如下:1.研究和改进了基于LAS的端到端语音识别模型。在LAS的模型基础上,提出了一种基于混淆矩阵的标签采样方法,该方法可以纠正LAS的解码错误,因此称作纠正性训练,提高了模型的识别效果,增加了模型的鲁棒性。除此之外,本文还对于LAS的输入特征进行了对比,并确定全梅尔频谱特征的效果最佳。并且在此基础上,本文还做了一些工作优化模型的训练,比如实现了最小词错率和最大互信息两种区分性训练的方式,使用剪枝搜索解码等来优化网络的训练,达到了提高模型识别准确率的效果。2.研究和改进基于LAS模型编码器的编码方法。通过本文分析认为LAS的框架原理与人的语音识别体系最为贴近,因此本文选择LAS为基本框架,通过替换编码器的方式,来探究三种不同(LAS,Transformer,DFSMN)的编码器对于语音识别结果的影响。然后对于三种不同的编码器,进行了编码器结构的比较、优化和组合:利用ConvLSTM结构来优化LAS的金字塔形LSTM结构,取得效果上的提升;在CNN和Transformer的编码器基础之上利用ConvTransformer模块来改进编码器结构,并且探究了网络各个模块的深度对于识别准确率的影响;用卷积模块来优化DFSMN,三种方法均取得效果上的提升,识别准确率超过baseLAS。进一步证明和体现了CNN的卷积不变性特点对于语音识别的声学处理是非常有效果的。综上,本文首先对LAS本身的框架进行了深入探究,并且提出优化改进,以及采用了一些训练方面的技巧使得LAS的性能得以提升。此外,还对三种主流端到端语音识别框架(LAS,Transformer,DFSMN)的编码器进行探究和改进,并且提出一些网络结构上面的改进使得三种编码器的效果都超过LAS的基线系统。