论文部分内容阅读
随着人工智能的不断发展,人们希望计算机在交互的过程中能够理解人类传达的情感,并能够带有情感地与人类自然交流,因此为实现和谐的人机交互,情感识别逐渐成为人机交互研究领域的关键技术之一。本文从人脸表情及面部血容量脉冲生理信号两方面开展视频情感识别研究,旨在充分挖掘人脸视频中的情感信息。本文主要工作和创新点描述如下:(1)针对目前国际上公开视频情感数据库较少的问题,设计了一套完整的情感诱发实验,采集了 30名被试者的情感视频,并对视频进行剪辑等预处理操作,得到可用于情感识别的数据库,该数据库共采集了四种情感,包括高兴、恐惧、悲伤和愤怒。(2)以往视频情感识别方法主要是将视频中的彩色图像转化为灰度图像,然后对灰度化后的人脸图像提取表情特征,很少关注视频中的彩色信息所蕴含的情感因素。此外,常用的生理信号均是在受控环境下通过专门的生理采集仪器获得,均属于接触式,数据的采集过程较为复杂,也容易给被试者带来不适。为了充分挖掘出人脸视频中蕴含的情感信息,提出一种基于人脸面部血容量脉冲(Blood Volume Pulse,BVP)生理信号的视频情感识别方法,该方法中生理信号的获取是一种无接触的方式。首先对视频中的人脸图像进行视频颜色放大,放大视频中微弱的BVP信号,然后对视频提取时域、频域和非线性特征。考虑到表情、眼镜和刘海等因素对生理信号质量的影响,将人脸区域进行分割,对不同区域、不同情感特征进行试验与分析。实验结果证明了所提方法的可行性和有效性。(3)针对单模态在情感表达方面的局限性,提出一种融合表情和BVP生理信号的双模态视频情感识别方法。首先分别提取视频中人脸的LBP-TOP与HOG-TOP特征和BVP生理信号;然后融合LBP-TOP和HOG-TOP特征进行人脸表情识别,接着利用面部BVP生理信号进行情感识别;将两种情感识别结果送入模糊积分融合分类器进行双模态融合情感识别,最后得到融合后的结果。与单模态情感识别的对比结果说明了双模态融合方法的有效性,与其他文献对比的结果表明了本文方法具有一定的优越性。