情感识别是一项具有挑战性的任务,因为人的情感表达方式是微妙而且复杂的。近年来人类在情感识别方面取得了较大的进步,但是依然无法与机器进行自然的互动。对于许多人机交互的应用而言,构建一个能够理解人的情感系统至关重要。研究学者为了对人类情感进行识别,通常的做法是从音频信号等单一信号中提取与情感相关的特征,然后利用特征训练分类器。但单模态情感识别往往存在识别率低,鲁棒性差等特点,因此,提高情感识别的准确率成为了一个亟待解决的问题。本文主要融合语音与文本两个模态的特征信息,并在此基础上进行双模态情感识别的研究,针对双模态情感识别模型在情感特征提取以及分类器模型上进行改进和探索。本论文的主要研究内容为:1.研究适用于不同模态上的基于深度学习的特征提取以及情感识别模型。对于音频模态,提出了一种音频循环编码器模型,采用开源工具pyAudioAnalysis来提取语音信号中的基础特征,采用短时傅里叶变化提取语谱图中频域特征,将基础特征与频域特征的特征向量采用直接融合方式得到最后的语音特征,使用卷积神经网络与双向长短期记忆神经网络的融合对特征学习,并进行情感识别,通过对比实验,验证语谱图中频域特征对情感识别正确率确实有所提升;对于文本模态,提出了一种文本循环编码器模型,主要采用自然语言工具包NLTK对文本进行分词处理,模型中采用双向长短期记忆神经网络进行文本情感特征的提取,使得模型能够合理利用文本的上下文语义及语序信息;对于语音和文本混合的特征,提出了一种双模态循环编码器模型,使用直接级联的特征融合方式对上述两种模型分别提取得到的语音和文本特征进行融合,然后在经过全连接层,对情感进行高兴、生气、悲伤和中性四种类别的分类。2.研究双模态特征的融合方式。针对双模态特征融合采用直接级联方式存在的缺点进行模型的改进,提出了融合注意力机制双模态情感识别模型,该机制检测单个模态的特征向量中与情感信号的相关性并根据相关性分配权重。使系统聚焦于与情感相关的语音帧和文本向量上,使两种融合得到的特征更加有效,进而提高识别效率。同时为了验证双向长短期记忆神经网络层中间节点的信息对模型性能提升的影响,笔者增加了融合统计池化的模型结构,实验结果表明增加双向长短期记忆神经网络层中间节点的信息确实有一定的性能提升,但相对于注意力机制而言,其性能提升并不十分明显。