目的:情绪识别作为情绪应用研究中的一个重要方向,在诸多应用领域有着重要的影响和需求,但情绪的主观体验具有很强的主观性,且人与人之间的情绪反应存在变异性,本研究立足于中医情志理论,结合现代情绪理论及研究成果,利用现代化的仪器设备,研究悲、喜情绪下被试的眼动变化、生理反应、面部表情及头部朝向是否存在差异、存在何种差异,以期得出一个较客观的悲、喜情绪综合识别模式。方法:采用现象学还原分析方法首先对中医情志概念进行文献研究。采用实验的方法对悲、喜情绪下的眼动变化、生理变化、面部表情变化及头部朝向变化进行研究。此次实验采取被试内设计,被试在实验前填写大五人格问卷中国简式版及正性负性情绪问卷,实验后填写情绪自评问卷,使用SPSS20.0对实验所获得的数据进行处理。本次实验,招募某医学院校视力正常或矫正视力正常大学生被试,排除正在患病或有慢性病史以及正在服用影响血液循环和中枢神经活动药物的个体。选取中国情绪影像材料系统悲视频—《我的兄弟姐妹》片段(时长00:01:52)、喜视频《唐伯虎点秋香》片段(时长00:01:52)诱发被试情绪,另从中国情绪图片系统中选取信息量接近的中性情绪图片10张,使用Tobii TX300 Eye Tracker眼动仪记录并采集被试在悲、喜情绪下投射在中性情绪图片上的眼动数据;使用荷兰Spirit公司的8通道生物反馈仪Nexus-10即时收集被试皮肤电导、血容量脉冲数据;同时,利用眼动仪显示屏幕上自带的摄像头实时拍摄下被试在观看情绪诱发材料时的面部表情视频,采用FaceReader 7面部表情分析系统对视频进行分析,获取被试面部表情数据及以鼻头三维坐标为代表的头部朝向数据。结果:文献研究的结果显示,中医情志概念具有意识意向性特征,眼动可作为意识指向性特征的一个外显指标。实验研究结果:1眼动结果对悲、喜情绪下的被试眼动变化进行研究,结果显示:(1)对中性情绪图片不进行分区处理,喜情绪下到首个注视点所用时间用时长(0.36±0.76)s,悲情绪下到首个注视点所用时间用时短(0.10±0.26),配对样本t检验显示二者差异显著[t=-2.862,P<0.05];喜情绪下总注视时间用时短(9.15±2.32)s,悲情绪下总注视时间用时长(9.71±1.40),二者差异显著[t=2.041,P<0.05];喜情绪下总注视次数少(28.52±8.91),悲情绪下总注视次数多(33.56±8.09),经检验两者差异显著;喜情绪下到首个注视点所用时间、首个注视点所用时间、总注视时间、总注视次数四个指标变异性大,悲情绪下这四个指标变异性小。(2)对中性情绪图片进行分区处理,则悲情绪下,右上区域对比其他三个区域,首个注视点所用时间最短(0.87±0.52)s,总注视时间最短(1.82±1.34)s,总注视次数最少(6.90±5.28),差异显著;喜情绪下,左下区域相较其他三个区域差异显著,首个注视点所用时间最短(0.88±0.76)s,总注视时间最短(1.66±1.67)s,总注视次数最少(5.25±5.50)。2生理反应结果对悲、喜情绪下的被试血容量脉冲(BVP)、皮肤电导(SC)进行研究发现:(1)采用时间序列分析,在情绪视频阶段及中性情绪图片阶段,BVP在悲、喜情绪下均呈现周期性变化,悲情绪下BVP变化周期短,变化幅度大,喜情绪下周期长,周期内变化幅度较小;对悲、喜情绪下被试BVP进行均值士标准差比较,悲情绪状态下血容量脉冲绝对值大、变异性大(-24.1037±12.0033),喜情绪状态下血容量脉冲绝对值小、变异性小(-22.6677 ±11.8012),配对t检验显示二者差异显著[t=5.210,P<0.05];对悲、喜情绪下被试SC进行均值±标准差比较,喜情绪状态下皮肤电导大、皮肤电导变异性大(6.5352±4.5178),悲情绪状态下皮肤电导小、皮肤电导变异性小(6.0592±4.2335),配对t检验显示二者差异显著[t=3.229,P<0.05]。(2)中性情绪图片阶段,采用时间序列分析显示悲、喜情绪下SC呈现明显周期性变化,喜情绪下SC周期短,变化幅度小,悲情绪下周期长,变化幅度大;对悲、喜情绪下被试BVP进行均值±标准差比较,悲情绪下BVP(-22.8410±11.9696)与喜情绪下BVP(-22.2760±11.7974)二者差异不明显;对悲、喜情绪下被试SC进行均值±标准差比较,喜情绪下SC值大、SC变异性大(6.4278±4.7352),悲情绪状态下SC小、SC变异性小(6.0147±4.3564),配对t检验显示二者差异显著[t=3.701,P<0.05];(3)不同情绪主观感受强度对被试BVP、SC变化无影响(P值均大于0.05);(4)在本次实验中发现,悲、喜情绪下BVP与神经质这一人格特质呈显著正相关关系(r值均为0.406,P<0.05)。3面部表情及头部朝向结果对悲、喜情绪下被试的面部表情及头部朝向三维坐标进行分析,结果发现:(1)悲、喜情绪下,中性情绪表情均占比最大,均大于50%;愤怒、恐惧、厌恶表情占比接近,悲伤表情占比较小,悲情绪下(0.1559±0.1252),喜情绪下(0.1207±0.1044),高兴表情占比最小,喜情绪下(0.0641±0.1037),悲情绪下(0.0168±0.0261)。(2)对悲、喜情绪下悲伤表情进行配对t检验,显示二者差异显著[t=-3.298,P<0.05]、悲、喜情绪下高兴表情的配对t检验显示差异显著[t=3.822,P<0.05],悲、喜情绪下中性表情比较显示二者差异明显[t=-2.394,P<0.05]。(3)对被试面部20个动作单元运动持续时间及运动强度进行对比,发现在悲情绪下,被试突出表现为第15、第17、第23、第24动作单元的运动,在喜情绪下被试突出表现为第6、第10、第12、第25动作单元的运动。(4)不同强度的主观情绪感受与面部表情变化无相关性(P值均大于0.05)。(5)悲情绪下,唤醒度(面部肌肉运动强度)与BVP呈显著正相关关系(r值为0.349,P<0.05)。(6)FaceReader 7面部表情分析系统采用鼻头三维坐标点反应被试头部朝向,该系统中以Y轴代表前后,X轴代表左右,Z轴代表上下。实验结果显示,悲、喜情绪下被试头部朝向存在差异,喜情绪下的鼻头三维坐标点主要落在Y+X-Z+、Y-X-Z+两个象限中的被试个数多,而悲情绪下的鼻头三维坐标点落在象限Y-X+Z+及Y+X+Z+区域内的被试个数明显要多,对比喜情绪差异显著。结论:中医情志概念与现代心理学的情绪概念二者在旨趣、内涵及外延上同中有异,情志概念强调情绪的意向性特征,眼动变化可较明显的反应这一意识指向性特征。实验研究则反映出了悲、喜情绪下被试在眼动变化、生理反应、面部表情及头部朝向上均具有不同的变化趋势。1眼动变化上,在注视时间、注视次数,悲、喜情绪下均表现出了不同的变化趋势。《素问.举痛论》言"悲则心系急""悲哀愁忧则心动,心动则五脏六腑皆摇",而"喜则气和志达,荣卫通利,故气缓矣","五脏六腑皆摇"则心不定,对外界刺激犹疑,注视点即显出纠缠凝滞的特征,表现在眼睛运动上,则见总注视次数多,总注视时间长,注视指标的变异性小;"荣卫通利"则对刺激的反应更显流利顺畅,表现在眼睛运动上,可见对刺激反应速度加快,总注视次数较少、总注视时间较短,注视指标的变异性大。到首个注视点所用时长悲情绪下用时短、喜情绪下用时长则反应出了悲情绪下被试更早关注到细节。在注视位置上,悲、喜情绪下的显著差异表现在对某个区域注视时间及注视次数的显著减少上,悲情绪下被试很少关注到右上区域,而喜情绪下被试很少关注到左下区域。2生理变化上,悲、喜血容量脉冲表现出了明显的周期性变化,且变化反应出了缓、急的不同,悲情绪下血容量脉冲周期小,变化大,表现出急的态势,喜情绪下血容量脉冲周期较大,变化较小,表现出缓的变化趋势;皮肤电导在情绪恢复阶段出现了明显的周期性变化并且也呈现出缓、急不同的态势来,喜情绪下周期小、变化幅度小,悲情绪下周期大,变化大,皮肤电导近似呈直线下降趋势。被试情绪主观感受强度与生理反应的关系在本次实验中未见有显著相关关系,说明情绪的主观感受与情绪的生理变化之间,没有明显一致性的变化规律,不能从情绪的主观感受强弱推导出生理反应的强弱,从另一方面,也可能说明个体的情绪主观感受具有掩饰性,提示今后对情绪进行客观识别的重要性。3面部表情上,无论悲、喜情绪下,中性表情占主导,这在侧面反应了亚洲被试在面部情绪表达上的含蓄,受"表露规则"限制较多。悲情绪下悲伤表情占比值与其他表情相比较、喜情绪下高兴表情占比值与其他表情相比较均未见有明显的差异变化,但将悲情绪与喜情绪下的悲伤表情占比值、悲情绪与喜情绪下的高兴表情占比值进行比较,则差异明显,说明在悲伤、高兴表情与其他类别情绪面部表情占比不显的情况下,可以从悲、喜情绪下面部表情的变化中分析被试情绪状态。对面部运动单元进行细分比较,则发现悲、喜情绪下被试面部动作单元在运动变化上存在明显差别,悲情绪下突出嘴角下撇、绷紧嘴唇、紧压嘴唇、下巴抬起这些动作单元的运动,喜情绪下突出表现为面颊提起、上嘴唇提起、拉动嘴角、微张嘴巴这些面部动作单元运动,悲、喜情绪下被试面部动作单元主要反映在嘴唇、下巴区域,喜情绪下主要表现为向上向外的肌肉运动趋势,而悲情绪下则整体表现为向下、收紧的肌肉运动趋势,面部动作单元的运动差异可以较好的区分被试的情绪状态。被试情绪主观感受强度与面部表情变化之间没有显著的相关关系,悲情绪下不同主观感受强度与悲伤表情、喜情绪下不同主观感受强度与高兴表情之间没有一致的变化规律,不能从情绪的主观感受强弱推导出面部表情的变化强弱。4头部朝向上,在要求被试在实验过程中尽量保持身体与头部位置不动的情况下,悲、喜情绪下被试头部位置变化细微但出现了明显差异,悲情绪下被试头部朝向倾向于往后左上区域移动,喜情绪下被试头部位置倾向于往前右上区域移动。头部位置的上、下变化在本次实验中未见有明显差异。意义与价值:1学术意义对中医情志概念的文献研究及对悲、喜情绪下的被试眼动变化及头部朝向变化进行的实验研究,验证了中医关于情绪意向性的观点。2应用价值中医情志理论认为情绪具有意向性特征,且提出"目为心之使"的观点,本次实验通过测量悲、喜情绪下被试眼动变化及头部朝向变化,发现悲、喜情绪下被试眼动变化及头部朝向变化存在下显著差异。从中医的情志理论及本次实验结果来看,眼动指标及头部朝向指标可作为有效的客观指标融合进情绪的综合识别模式中。再者,综合眼动、头部朝向、面部动作单元、自主神经系统指标的情志识别指标体系,为自动情志识别系统开发提供理论基础及数据支持,可促进情绪识别在医学、公共安全、心理学研究、人机互动、远程教育、用户体验评价、消费者等领域的转化应用。