情感识别作为人机交互（Human-Computer Interaction,HCI）系统的核心组成单元,在智能驾驶系统、远程教学系统、智能家居系统、健康检测系统、旅行推荐系统以及智能机器人系统中具有重要的应用价值。人类一般通过语音和表情图像表达情感,因此,开展语音图像多模态信息融合的情感识别方法研究,提高多模态情感识别的识别率,具有重要的理论意义和实用价值。本文以情感识别模型作为研究对象,分析语音和图像情感信息与人类情感状态之间的联系,针对语音图像多模态信息融合过程中的关键帧提取方法和特征融合方法开展深入的研究,旨在充分融合语音和图像模态的情感特征,提高多模态情感识别的识别率。随着多媒体信息时代的到来,面对海量的情感视频,如何从情感视频数据集中提取语音和图像关键帧对于提高多模态情感识别的性能尤为重要。但是,传统的语音图像关键帧提取方法存在关键帧冗余、丢失重要的情感信息等问题。因此,本文提出一种基于多模态情感识别的语音图像关键帧提取方法。该方法首先利用语音活动检测（Voice Activation Detection,VAD）算法消除语音信息的噪声来提取初步的语音关键帧;然后,利用信息熵的思想表征人类情感产生是一个连续过程,并利用感知哈希算法有效的提取初步的图像关键帧;最后,在语音图像关键帧对齐技术中利用语音和图像模态之间的互补性保存了重要的情感信息并提取最终的语音和图像关键帧。在RML、eNTERFACE05和BAUM-1s语音图像公共情感数据集上,通过语音梅尔频率倒谱系数（Mel-Frequency Cepstral Coefficients,MFCC）提取实验、表情图像提取实验、表情图像信息熵实验和语音图像关键帧提取实验验证了本文提出的语音图像关键帧提取方法,它不仅有效的减少语音和图像关键帧的冗余,而且也有效的保存重要的情感信息。针对当前特征层融合未充分考虑语音和图像模态之间的相关性,导致多模态情感识别的识别率较低的问题,本文提出一种融合语音图像相关特征的多模态情感识别方法。该方法首先利用本文提出的语音图像关键帧提取方法分别提取语音和图像关键帧;然后,语音关键帧的MFCC特征和图像关键帧的面部表情序列被分别输入到二维卷积神经网络和三维卷积神经网络中提取高阶情感特征;同时,在特征融合阶段,通过在典型相关分析（Canonical Correlation Analysis,CCA）算法的基础上引入类别信息提出一种改进的CCA特征融合方法,并基于语音和图像模态之间的相关性构造加权矩阵K和新的类间散度矩阵Sb来区分相似的情感类别;最后,利用支持向量机（Support Vector Machines,SVM）实现语音图像相关特征的情感分类。在RML、eNTERFACE05和BAUM-1s语音图像公共情感数据集上,通过消融实验、语音图像关键帧提取实验、语音图像相关特征融合实验、对比实验验证了本文提出的语音图像关键帧提取方法和语音图像相关特征融合方法有效的提高多模态情感识别的识别率。