情绪是人类心理结构中重要的组成部分,在人的心理生活中起着不可缺少的作用。伴随人机交互技术的发展,情绪感知计算通过赋予计算机感知、识别、理解、表达和适应人的情感能力来建立和谐的人机环境,并使计算机具有更高的、全面的智能,是人机交互自然化和智能化的重要标志。脑电(electroencephalogram,EEG)作为一种能够记录大脑活动的电生理指标,具有和大脑信息加工处理匹配的毫秒级的时间分辨率,同时兼具便携性好、非侵入式的特点,已经成为认知神经科学领域开展情绪加工与识别应用研究的一个重要测量手段。基于脑电探索情绪处理的神经加工机制,发展情绪自动检测与识别的技术,对于促进情绪在认知神经科学、神经工程、人工智能等领域的应用,具有重要的科学意义和应用价值。本文围绕“脑电信号如何表征不同情绪的神经活动”这一科学问题,分别从外部诱发情绪与内部诱发情绪两个方面展开研究:首先,从外部诱发情绪入手,对情绪加工的信息处理机制、情绪的关键信息表征、情绪的分类计算模型等基础问题进行了多角度探索;其次,针对内部诱发情绪没有时间锚点难以准确测量的问题,设计了内外部诱发与外部诱发联合的情绪实验,探究其脑电信号特性与外部诱发情绪之间的关联性和差异性,并构建相应的情绪计算模型。主要研究工作具体如下:1.基于稳态视觉诱发电位(steady-state visual evoked potential,SSVEP)的外部诱发情绪的加工机制研究。如何利用脑电信号探索不同情绪加工的信息处理差异,是情绪感知与计算需要解决的基础和难点问题。本文利用具有良好锁相特性的SSVEP,通过源成像方法,重建了具有高时空分辨率的大脑皮层时间序列,在脑皮层空间从局部和整体两个层面,对情绪加工涉及的多脑区的信息处理速度与信息流向进行了深入探究。研究结果发现:(1)情绪信息的处理会引起包括枕中回、颞中回的腹侧通路的信息处理速度的加快,并且负性情绪在腹侧通路的信息处理速度最快,呈现明显的右半球优势,具体表现为右半球的信息处理速度快于左半球,且方向是右半球驱动左半球。(2)正性情绪表现出左半球偏侧化效应,左侧额上回为正性情绪区别于中性和负性情绪的关键脑区。该研究在具有高时空分辨率的脑皮层空间,从局部和整体两个层面对情绪加工的神经机制进行了分析和解释,为现有情绪研究提供了重要的理论依据,并为人机交互中情绪感知计算提供了理论参考。2.基于经验模态分解(empirical mode decomposition,EMD)的外部诱发情绪识别方法研究。外部诱发情绪识别的一个关键问题是如何寻找信息表征进行情绪的分析和建模,在现有的特征提取方法中,性能较好应用最广的微分熵特征,其本质上描述的是脑电信号的频带能量特性,时间分辨率仍受到一定限制。针对此问题,本文提出了一种基于EMD的情绪识别方法:首先利用EMD将脑电自适应地分解成不同震荡频率的本征模态函数(intrinsic mode functions,IMFs),然后在IMF空间提取波形差分、相位差分、归一化能量等多维信息作为表征进行情绪识别。与基于微分熵特征的方法相比,该方法具有更高的时间分辨率和频率分辨率。在公共情绪数据库DEAP上的实验结果表明,该方法显著提升了情绪识别的准确率:二分类准确率为72.10%,与分形维数方法相比,准确率提升了13.97%;与微分熵方法相比,提升了2.90%。该研究提供了一种新的情绪信息表征,对提高外部诱发情绪识别的准确率具有重要意义。3.基于参数化卷积神经网络(convolutional neural network,CNN)的外部诱发情绪识别方法研究。脑电信号的高维特性以及样本量的限制,为基于神经网络的外部诱发情绪的识别带来了困难。针对此问题,本文提出了一种参数化的CNN网络架构——EMONET,通过小规模的数据集完成网络训练,能够从多通道脑电信号中自主学习可解释的、空域与时频域联合的情绪信息。在自建时间迁移EEG数据库和DEAP公共数据库上的实验结果表明,EMONET表现出良好泛化能力和时间鲁棒性,显著提升了情绪识别的准确率,二分类任务下,准确率可以达到87.00%,与基于传统SVM的方法相比,准确率提升了12.70%;与神经网络SyncNet相比,准确率提升了7.31%。该研究提供了一种新的基于神经网络的情绪计算模型,较好地解决了跨时间域模式下情绪识别的难题。4.基于自我回忆的内部诱发情绪识别模型研究。内部诱发情绪的识别具有更高的实际应用价值,但在情绪诱发效果评价、情绪维持时间的标定等方面存在困难,导致内部诱发情绪的脑电特性和识别模式的研究面临巨大挑战。针对此问题,本文进行了高兴、中性、悲伤、厌恶、愤怒和恐惧等内部诱发情绪的脑电特性的研究,建立了两种内部诱发情绪识别模型:(1)利用内部诱发情绪建立的训练模型,对内部诱发情绪进行识别,在情绪正负二分类以及六分类任务下,识别准确率分别为87.36%和54.52%;(2)利用外部诱发情绪建立的训练模型,跨模式对内部诱发情绪进行识别,在二分类和六分类任务下,准确率分别达到78.53%和49.92%。本文同时分析了内部诱发情绪识别的重要特征、导联和脑区,发现内部诱发情绪存在较为稳定的神经模式,而且与外部诱发情绪表现出显著的一致性。该研究为基于脑电的内源性情绪的在线识别与应用提供了重要的基础和支撑。