情感是一个奇妙而有趣的现象,它与人的日常生活、决策活动和身心健康等诸多方面紧密相关。作为人工智能领域的前沿研究方向之一,情感识别在涉及智能人机交互等相关应用场景中具有重大的潜在应用价值,开展情感识别方法的研究具有重要的理论和现实意义。语音和面部表情是最常见的两种承载情感信息的方式。并且,通过语音和表情识别情感还具备数据获取方便和非侵入性的优势。当前情感识别面临的主要挑战有:（1）情感信息难以有效表征;（2）身份多样性对情感识别算法存在干扰;（3）多模态情感难以高效融合。围绕以上问题,本文对语音情感识别、表情识别和多模态情感融合展开了深入研究。本文的主要工作和创新性贡献如下:针对语音情感信息难以有效表征的问题,本文提出了为声学数据定制的时频卷积和序列建模神经网络结构。该结构针对声学数据进行网络结构定制,克服了单纯依赖数字信号处理或普通神经网络结构进行情感特征提取时的局限性。在保持语音信号中情感信息不损失的前提下,可以充分利用神经网络的表征能力。实验结果表明,基于时频卷积和序列建模的方法能够实现更高的情感识别准确率。针对身份多样性对表情识别导致的干扰问题,本文提出了身份/情感耦合损失函数。在评估表情识别性能的同时,该损失函数还衡量了表情向量在身份空间的相似性。实验结果表明,该函数能够减轻由身份多样性对表情识别带来的干扰,相较于传统的交叉熵损失函数,基于身份/情感耦合损失函数训练得到的模型不仅能够达到更高的表情识别准确率,而且能够减小由身份多样性引入的情感向量偏差。针对音视频情感分类任务中客观存在的“信息污染”、“信息冗余”和“融合效率低”的问题,本文提出了一种用于音视频情感融合的深度权重融合方法。该方法使用帧级别的硬权重策略对音视频模态进行关联建模,使用深度神经网络进行情感表征的计算以及多模态情感表征的高度非线性融合。实验结果表明,该方法能够明显减轻音视频情感分类任务中的“信息污染”、“信息冗余”和“融合效率低”等问题。针对多模态连续情感估计中跨模态情感信息难以充分挖掘和利用的问题,本文提出了基于多模态注意力的多维度连续情感估计方法。该方法通过多模态关联建模对人脸和语音之间的内在联系进行了充分挖掘,并将其与一些重要的先验知识相结合,以多模态注意力的方式约束情感表征的融合,最终实现多维连续情感的估计。不同维度情感状态的估计是以多任务学习的方式在一个模型中同时实现的。实验结果表明,该方法能够分别提高多维连续情感估计的一致相关性。本文提出的方法,有效提高了基于语音和面部表情的情感识别性能,具有重要的理论指导意义和实际使用价值。