随着深度学习技术的不断进步与发展,智能语音交互技术在各种产品、领域中表现出积极的重要价值。在整个语音交互系统中,最重要也是最困难的就是语音识别。近年来越来越多的学者开始运用深度学习技术对中文语音做特征识别研究,然而,中文语音丰富而复杂,一音多词,孤立词,个性化热词等这都给中文语音识别增加了复杂度。大部分学者研究语音识别是基于单独孤立词研究和标准连续语音识别研究,对于一些区域性非限制表达方式识别性能较差。针对上述问题,本文对基于CNN的语音识别算法进行了研究,同时结合科大讯飞的AIUI开放平台,设计开发出一款语音交互系统。针对语音交互的高效、准确性要求,根据卷积神经网络的特征提取能力强、运行效率高等特点,本文提出一种基于CNN网络结构的声学模型,通过设计多层卷积层对应一层池化层使得模型结构可以看到足够多的历史信息。首先通过加窗分帧、傅里叶变换操作将语音信号序列转换为频域图像,即语谱图;将语谱图送入设计后的深度卷积神经网络中进一步特征学习,接着将特征序列输入全连接层进行特征整合,最终通过CTC损失函数优化输出序列。传统语言模型主要是基于规则模型和统计模型,通常它们只假设词与自己前面两个词的相关性,而忽略前面所有词的影响。根据Self-Attention无视词之间的距离直接计算依赖关系的特点,本文提出一种基于自注意力机制的语言模型,它可以学习一个句子的内部结构,可以学习当前单词和句子前一部分词之间的相关性。首先构建音素与文本的映射,将对应序列送入多头注意力函数进行加权求和得到attention函数,接着通过全连接层进行学习整合输出。本文基于课题中训练好的语音识别模型,结合科大讯飞的语义理解和语音合成功能,在Window平台VS2017+QT环境设计开发出语音交互系统。首先设计整体程序框架,主要分为算法层,逻辑交互层,GUI层。功能上实现麦克风语音拾取、扬声器语音播放,本文语音识别模型的调用,讯飞语音SDK和AIUI平台的应用。