情感不仅是综合人体所有感觉、思维和活动的生理状态,并且是各种外部刺激所产生的心理和生理反应。现阶段,脑电信号因其具有高时间分辨率、非侵入性、实时差异性等优势被广泛应用于情感识别。情感活动涉及大脑中多个区域的交互和信息传递,最小生成树允许在情感处理任务中研究大脑的动态状态,并有助于理解大脑网络复杂性在情感状态切换时的变化。近年来,眼动追踪技术也已成为心理学、认知科学等诸多领域研究的重要技术手段,眼动信号变得更方便捕获,通过判读用户的视线焦点可知晓其本能的认知行为。而人类情感主要包括外部行为表现和内在生理唤醒,两者均在不同方面表征情感状态变化。单一模态的脑电数据无法全面、精准地表征人的情感状态,但与其同步采集的眼动数据在一定程度上能有助于完善与情感相关的有效信息。因此,利用多模态信号对情感状态表征的互补性,期望能构建准确率更高的情感识别模型,在情感分类特征选取方面进行有价值地探索。基于上述情况,本文将采用功能连接指标、最小生成树以及眼动特征进行情感识别研究,使用上海交通大学BCMI实验室提供的涵盖脑电信号和眼动信号的SEED-IV数据集,提出一种基于多模态生理信号的情感识别新方法并取得较好的效果。主要的研究工作如下:（1）选取情感表征能力更强的微分熵特征进行情感识别研究,并使用功能连接指标相位滞后指数,构建不同情感状态下的最小生成树,从拓扑结构中揭示不同情感状态下脑网络的细微差异,发现高频段beta和gamma是大脑表征人类情感状态的关键频段,而大脑左右侧颞叶区是人类情感产生的关键脑区,高频段高唤醒的情感状态下脑网络呈现更多的随机连接。同时,将计算得到的最小生成树属性值作为脑网络特征单独输入到情感识别模型中,平均分类准确率为55%左右;而单独微分熵特征平均分类准确率稳定在75%以上,频域特征微分熵与脑网络特征最小生成树属性多特征融合后平均分类准确率进一步提升,为78%～85%。结果表明,微分熵与最小生成树是具有互补性的脑电特征,多特征融合能够使其蕴含的情感信息充分表现,从而有助于提高情感识别效果。同时,通过对采集的数据进行重复实验发现基于脑电的情感识别模型具有稳定性。（2）将眼动特征运用在情感识别研究中,通过统计检验的方法分析不同眼动特征对情感状态的表征特性,其中左右瞳孔直径在不同情感刺激下差异最为显著且具有稳定的模式,正性情感的瞳孔直径要小于负性情感,中性情感的瞳孔直径最小;注视持续时间和扫视频率呈现负相关关系,中性情感的注视持续时间最长;正性情感的注视频率最高,负性情感的眨眼频率最高。同时,使用信号处理的方法对眼动数据中瞳孔直径的微分熵特征进行提取。结果表明,将上述提到的不同类型眼动特征融合后,具有与脑电特征相当的情感识别能力,其平均分类准确率达到78.10%。（3）选取脑电和眼动信号进行多模态生理信号的情感识别研究,采用串行拼接的特征级融合策略构造特征矩阵,经双样本T检验选择出具有显著性差异的个体模态特征作为分类器的输入,利用不同模态信号的互补性有效提高情感识别的准确率。结果显示,多模态生理信号较单模态脑电或眼动信号的分类效果有所提升,以眼动特征作为基准,同时融合微分熵特征和最小生成树属性表现更加突出,其平均分类准确率高达91.43%,仅融合微分熵特征或最小生成树属性的平均分类准确率分别为89.90%和83.29%。而相较于同类研究,其平均分类准确率也得以提高,证明了多模态情感识别模型的有效性。