论文部分内容阅读
情感识别在人们的社会交往过程中具有重要作用。人机交互领域的情感识别研究目标是使计算机在接收到人类的情感信号后能获取人的情感信息，准确的识别情感状态。最初人们对情感识别的研究，主要集中在单一情感特征识别方面。随着研究的不断深入，人们认识到来自不同渠道的人类情感特征之间具有一定的互补性，充分利用不同渠道特征之间的相关性可以更好地进行情感识别。于是基于多模态特征的情感识别研究成为一个研究热点。而人们的情感主要通过语音、表情和肢体动作等方面来表达，其中语音信息和表情信息被认为是人类情感的两个主要指标。因此，本文首先提出基于分数阶傅里叶域人脸表情特征与语音特征融合的情感识别方法。其次，针对传统的非线性特征融合算法的不足，提出一种新的特征融合算法——广义监督局部保持典型相关分析算法(GSLPCCA)。该算法有效提高了双模态情感识别系统的识别率。本文的主要研究工作如下: 1.介绍了信息融合的相关知识，以及一维分数阶傅里叶变换的定义、性质及其离散算法，对二维离散分数阶傅里叶变换的定义和性质作了说明。并且重点研究了多模态情感识别方法中信息融合层次以及融合策略。 2.提出基于分数阶傅里叶域人脸表情特征与语音特征融合的情感识别方法。考虑到表情特征与语音特征的非线性特征融合问题，提出采用核典型相关分析算法作为情感识别方法的特征融合算法。通过仿真实验，验证了该情感识别方法的有效性。 3.提出一种新的特征融合算法——广义监督局部保持典型相关分析算法，并将其应用到了双模态情感识别方法中。在特征融合时，传统的非线性特征融合算法均存在不利用或者不能充分利用样本类别信息的问题。与它们相比，本文提出的算法充分的利用了样本类别信息，对抽取的相关特征进行有效的监督，从而使抽取的特征更适用于分类。通过仿真实验，验证了该算法优于其它传统非线性特征融合算法。