论文部分内容阅读
情感是一种复杂的生理和心理状态,人的认知、行为和交流都受其相关影响,情感识别在人机交互、精神健康监测等多个领域发挥中都具有重要作用。基于生理信号和非生理信号的情感识别方法被广泛应用,静听学生听觉感知通道缺失,使得很难通过语言表达自已的情感,且往往对正常情感存在偏差。由此,本文提出了一种基于的脑电信号和面部表情的特征融合网络来识别其情感状态。本文的主要研究内容如下:（1）参考SEED数据集实验方法,利用相同的情感刺激片段,设计实现了基于静听学生的多模态情感实验范式,采集了 15名静听学生受试者在观看三类情感（积极情感、中性情感、消极情感）电影片段的脑电数据和面部表情图像,根据受试者在每个电影片段播放结束后SAM（Self-assessment manikin）系统的情感标注结果,对采集到的脑电信号进行筛选,保证了实验的可靠性。（2）研究基于深度信念网络的多特征融合网络,采用微分熵脑电特征和面部表情图像特征,采取特征融合方法,使用深度信念网络进行情感分类。实验结果表明了多模态情感识别方法由于可以提供更全面且互补的情感表征信息,故性能上优于单一模态识别。（3）提出了网络权重分析方法,探索了静听学生脑电信号和面部表情图像的主要特征,选取了 12个主要脑电通道和30个面部关键点特征,确定了对理解面部微表情变化有着重要意义的面部情感表征区域。实验分析发现,脑电情感变化主要集中在高频段（Gamma、Beta频段）,且情绪变化主要集中在颞叶和额叶区域,面部表情的微变化与眼角、眉角、嘴角有着密切联系。（4）设计实现了一种可视化界面的静听学生情感标注方式,提高了情感标注的可靠性,通过SAM系统作为情感标注基准,设计了一种基于摇杆操作的刺激片段效价维连续情感标注框架。利用静听学生受试者和正常人的连续情感标注信息,来探究听力丧失对静听学生理解情感的偏差。实验结果表明,静听学生对积极情绪反映强烈而消极情绪的产生弱于正常人,同时随着消极情绪的增强,额叶区域能力增强,而积极情绪的增加会使得颞叶区域能量上升。