基于眼部特征的用户情绪分析及其应用

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:kick88888888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸情绪识别是当前情感计算领域中最为重要且最具挑战性的一个分支,已然成为人机交互领域中备受关注的研究方向。虽然人脸情绪识别任务在实验环境下表现优异,但是在用户佩戴智能设备场景下,常规的人脸情绪识别方法无法有效处理遮挡脸部情绪识别任务。原因是,设备严重遮挡人脸上半区域和用户交互过程中带来的姿态变化,难以提取有效的情绪特征。通过调研和分析现阶段遮挡脸部情绪识别领域的相关文献,本文采用基于眼部区域的情绪识别的方法来解决用户佩戴智能头盔时的情绪识别问题。本文主要研究内容如下:(1)构建两个数据集。针对眼部情绪数据集匮乏的问题,本文从两个方面构建实验数据集,一方面通过设计和搭建眼部情绪采集方案,收集真实环境下的眼部情绪数据集;另一方面利用公开的全脸情绪数据集,从全脸图像中裁剪出眼部区域的图像,制作实验环境下的眼部情绪数据集。(2)提出一种基于特权信息的眼部情绪识别算法。首先,系统性梳理遮挡人脸情绪识别方法的发展脉络,分析用户佩戴智能头盔场景下的眼部情绪识别所面临的难点,确定基于眼部区域的情绪识别方法来解决上述难点。然后,针对以往眼部情绪识别模型需要额外个性化标定操作,导致用户使用体验不佳和情绪识别模型泛化能力不强等问题。本方法利用眼部图像和脸部图像的层次关系,将全脸情绪识别模型作为特权信息来增强眼部情绪模型的识别性能,无需额外的个性化操作。最后,在REED和EMUG数据集上进行实验,本方法的五分类情绪识别平均准确率比目前同类别最优模型EMO分别提高了3.8%和2.8%,七分类情绪识别平均准确率比EMO分别提高了4.6%和1.3%。(3)提出一种基于标签分布学习的眼部情绪识别算法。考虑到智能头盔计算资源有限和以往工作的模型过于复杂,难以满足实际场景的时效性需求。本方法设计轻量化的眼部情绪识别网络和复杂深层的情绪标签生成网络的组合框架,结合深层网络的提取能力和轻量化网络的识别效率的优点。在REED和EMUG数据集上进行实验,本模型的识别准确度略低于基于特权信息的眼部情绪识别模型,比起同类型的EMO在五分类情绪平均准确率分别提高了3.2%和2.8%,在七分类情绪识别平均准确率比EMO分别提高了2.8%和0.9%。值得注意的是,本模型参数量仅为表现最佳模型的1/26,兼具高效率和较优的准确率。为了更好地测试各个算法的可用性和泛化能力,利用公开的遮挡人脸情绪数据集FED-RO、RAF-B和AffectNet进行实验分析。实验结果表明,本文提出的两个模型方法在FED-RO、RAF-DB和AffectNet数据集实验结果领先同类型的眼部情绪识别模型,本文模型具有较好的泛化性和健壮性。
其他文献
从法律体系建设的角度,选择德国、英国、美国等三个国家作为样本,对其职业教育法律体系建设历程分析发现,三个国家职业教育法律体系建设与其职业教育现代化进程是紧密联系在一起的,职教法的修订与完善在每个国家职业教育的改革发展进程中都发挥着非常重要的作用。三个国家的职业教育法律体系建设历程存在显著差异,但也呈现共同的特征和趋势:职业教育法律体系深受文化传统和民族特征的影响,并体现国家职业教育改革发展的核心理
手机给人们提供方便的同时,也给人们增添了许多焦虑。文章从一位高一学生妈妈针对孩子玩手机,自己很焦虑的来信谈起,分析了父母的焦虑是如何产生的,论述了如何缓解焦虑以及如何帮孩子管好手机。
近些年南非的水泥市场相对比较疲软,价格不高,市场趋于饱和。曼巴水泥先进的技术带来了成本优势,仅仅两年时间就开始盈利南非属于中等收入的发展中国家,也是非洲经济最发达的国家之一,自然资源十分丰富,通讯、交通、能源等基础设施良好,矿业、制造业、农业和服务业均较发达。从立项到运营2006年11月中非合作论坛北京峰会召开期间,冀东发展集团与南非妇女投资基金公司就在南非投资建设水泥厂开始接洽。2013年3月2
期刊
为探索走滑断控裂缝体系发育的规模,主要借助数值模拟的手段,通过构建不同断裂带核部宽度、不同性质及不同组合的断裂模型,开展走滑断裂派生裂缝发育范围的定量预测,以明确不同断裂要素对裂缝发育的影响规律。结果表明:随着走滑断裂带核部宽度逐步增大,派生裂缝发育范围的最大值、均值以及最小值均无明显变化;在同等条件下,压扭断层派生裂缝带宽度明显高于纯走滑断层与逆冲断层;当平行断层组合间距小于某一距离之后,两条断
水生态文明城市建设是促进生态文明建设、实现美丽中国愿景的重要举措,是推动城市高质量发展的必要保障,但鲜有文献对其具体实施效果予以关注。将2004—2018年国家主要流域水质监测站点的周观测数据和水生态文明建设试点城市数据相匹配,采用双重差分法考察水生态文明城市建设对水环境质量的影响及其作用机制,借此对中国水污染治理的政策效果进行评估。研究发现,水生态文明城市建设显著改善了以化学需氧量和氨氮为主要表
近年来,有基层单位"刮骨疗毒",为了整改问题、征求意见、接受群众监督、提升工作质量,会用电话问卷的方式,开展群众满意度调查,取得了较好的效果,得到群众认可。但是,也有些部门、单位在开展群众满意度调查时,没有诚意,而是要求群众当"演员",对照下发的"标准答案"说好话,演戏给上面看,本质是形式主义、官僚主义、弄虚作假,
期刊
文章基于2009—2018年长江流域11个省份的空间面板数据,运用空间杜宾模型测度长江流域水污染治理省际竞争的空间效应。实证结果显示:长江流域治理中省际引资竞争、财政支出竞争以及环境规制竞争空间效应显著为负,同时省际竞争的空间效应存在显著的区域异质性。应设计以长江流域为单元的河长制政策体系,构建省际河长协作机制,规范省际竞争,强化环境问责机制,推动长江流域由以省份为单元的分区治理走向以流域为单元的
学位