【摘 要】
:
在现如今的大数据分析信息时代,表情识别技术在人机交互与情感分析等领域中具有十分普遍的运用,是计算机视觉应用领域里的一个非常关键的研究领域。表情识别的实际应用具有相当大的社会意义,所以表情识别的深入研究对实际应用的推广与普及具有十分重大的意义。头部姿态变化下人脸表情识别在表情识别方向里,是一项非常具有挑战性的计算机视觉任务,因为一方面,不同表情难于分类,另一方面头部姿态的变化会导致相同表情类内的差异
论文部分内容阅读
在现如今的大数据分析信息时代,表情识别技术在人机交互与情感分析等领域中具有十分普遍的运用,是计算机视觉应用领域里的一个非常关键的研究领域。表情识别的实际应用具有相当大的社会意义,所以表情识别的深入研究对实际应用的推广与普及具有十分重大的意义。头部姿态变化下人脸表情识别在表情识别方向里,是一项非常具有挑战性的计算机视觉任务,因为一方面,不同表情难于分类,另一方面头部姿态的变化会导致相同表情类内的差异很大。本文提出了一种新的基于有监督对比学习的头部姿态变化下人脸表情识别方法和一种新的基于正交通道注意力的多任务学习头部姿态变化下人脸表情识别方法,简称为OCA-MTL(Orthogonal Channel Attention-based Multi-Task Learning for multi-view facial expression recognition)方法。本文所提出的基于有监督对比学习的头部姿态变化下人脸表情识别训练框架结合有监督对比学习损失,可以有效地在归一化特征空间内拉进同表情分类样本的特征距离,拉远不同表情分类样本的特征距离。所提出的OCA-MTL方法采用孪生卷积神经网络来训练头部姿态变化下人脸表情识别模型学习与正脸表情识别模型相近的特征。OCA-MTL模型采用了一种多任务学习框架,在多任务学习框架中嵌入了一个分支通道注意力(Separated Channel Attention,SCA)模块,以分别产生人脸表情识别任务和头部姿态估计任务各自的分支注意力权重。此外,本文还提出了一种正交通道注意力损失函数。我们在两个公共头部姿态变化下人脸表情数据库上构造了三个数据集,并对OCA-MTL方法进行了大量实验,验证了我们的方法的有效性。本文为解决头部姿态变化下人脸表情识别所面临着的不同挑战,开展了的如下的几个方面的主要工作:(1)基于有监督对比学习的头部姿态变化下人脸表情识别方法按照输入样本的标签和输入顺序生成表情标签矩阵,为第一阶段基于编码器网络输出特征的有监督对比学习损失计算,提供了标签信息与正负样本对的判定依据。在预训练之后,丢弃预测网络,在编码器网络后接线性预测层,为下游的人脸表情识别任务训练微调。为了在有监督的环境中对模型进行预训练,我们提出了一个对比损失函数,构造了一个损失相关的矩阵,通过约束所提出的对比损失函数,可以实现在归一化特征空间中,使得同标签类别的样本特征更近,不同标签类别的样本特征更远,达到更好的表情分类效果。(2)基于正交通道注意力的多任务学习头部姿态变化下人脸表情识别方法提出了一种头部姿态变化下人脸表情特征学习框架,该框架使用两条平行路径,从不同头部姿态和相应的正脸姿态学习对头部姿态变化鲁棒的人脸表情特征,训练时通过最小化所述不同头部姿态与正脸提取到的表情特征之间的表情特征差异损失,迫使不同头部姿态下的人脸表情在与正脸的协同下学习更多有效的特征。还提出了一种分支通道注意力模块嵌入框架,两个分支通道的注意力模块,一个用于学习人脸表情特征,另一个用于学习头部姿态特征。此外,还提出了一项正交通道注意力损失,正交通道注意力损失等于两个子任务单独注意力权重的内积。与传统的注意力机制相比,正交通道注意力机制可以进一步有效地分离头部姿态特征和面部表情特征。
其他文献
如何创建有效混合学习环境、改善教师教学行为、提升学习者的混合学习效果是当今高校有效开展混合学习亟待解决的问题。本文基于加涅学习结果分类理论的认知领域,具体分析了辨别、概念、规则或原理、问题解决,以及认知策略和言语信息的概念及教学要点,提出了其各自的线上及线下活动设计策略。为高校有效实施混合学习提供了坚实的理论基础和实践依据。
利用GIMMS-NDVI3g、MOD13A2、气温、降水、辐射和DMSP夜间灯光数据集分析1992—2020年中国归一化植被指数(NDVI)时空变化特征,并借助随机森林算法模型在栅格尺度上确定其变化主导因素.结果显示:1992—2020年,中国NDVI均值范围为0~0.90,华北平原、长江中下游平原、东北平原、四川盆地、东南丘陵和云贵高原地区为高值区,均值约为0.60,西北和青藏高原地区较低,约为
青藏高原巨大隆起不仅塑造了欧亚大陆的气候格局,也深远地影响了高原的地理生态格局。青藏高原巨大隆起而产生的山体效应不仅可对近地表温度产生显著影响,其对近地表层垂直大气亦可产生显著作用,然而目前仍缺乏这一方面的研究。因此,本研究基于MODIS大气廓线数据产品,以昼夜温差为切入点,分析了青藏高原不同季节、不同气压面(500~200hPa)的昼夜温差差异。结果表明:(1)青藏高原内部不同季节、不同气压面高
雅鲁藏布江(雅江)与尼洋河交汇段的辫状河道形态及变化主要受尼洋河入汇、河谷边界条件及滨河植被的影响,时空变化的差异性和复杂性值得研究。利用1986—2021年遥感数据提取河道-沙洲-植被主要形态参数(主河道迁移率、弯曲率、面积等)分析辫状河道形态的复杂特征与演变过程。结果表明:主河道迁移率最大为483 m/a,弯曲率减小3.43%,植被面积逐年增加到8.05 km2。米林—派镇段辫状河道受边界条件
军事需求文档产生于军事项目的开展过程中,用于阐述军事项目本身的目的、要实现的功能等。对军事需求文档进行术语识别和一致性检验,可以自动抽取出文档中的关键信息要素,帮助有关工作人员快速定位军事术语,也有利于构建军事知识图谱,从而更好地服务军事工作。其中,一致性检验的重点在于对识别出的术语进行词义消歧。本文从以下几个方面展开。首先,对术语识别和词义消歧的国内外研究现状进行分析,对一些典型的术语识别和词义
河型转化是河流演化由量变到质变的综合反映,具有科学研究和服务生产的双重价值。以嫩江干流上游(以下简称嫩江上游)为研究区,利用遥感影像和地貌、气候等资料描绘了1985—2020年嫩江上游的河流形态特征,分析了河流类型、河型转化控制因素及河型转化模式。研究表明:(1)嫩江上游整体为稳定的河流且稳定性先增后减,顺河流方向发育三种河型——低坡度高弯度稳定的曲流河(河段Ⅰ)、高坡度高弯度稳定的曲流河(河段Ⅱ
青藏高原是气候变化的敏感区,其积雪在区域水文循环和气候系统中具有重要作用。本文利用1980—2020年逐日无云积雪覆盖遥感数据,分析了该地区近40年的积雪面积、积雪覆盖日数的分布特征和变化趋势。结果表明:青藏高原地区积雪分布具有明显的空间分异和垂直地带性分布特征,阿姆河流域、印度河流域、塔里木盆地、恒河流域、怒江流域和雅鲁藏布江流域的高海拔山区是积雪广泛分布的地区。在水文年内,高原地区积雪覆盖率呈
土地利用和土地覆盖变化(Land Use and Land Cover Chang, LUCC)通过影响局地陆面过程及陆气相互作用进而影响局地天气和气候。为探究LUCC产品对陆气相互作用的影响,本文采用了三套LUCC产品,包括USGS、 Landsat和MODIS,模拟研究不同LUCC产品对华东地区土壤和近地面温度、湿度的影响。结果表明,不同LUCC产品的土地利用类型差异主要在城市、农田和以草地、
与传统的正交多址接入(Orthogonal Multiple Access,OMA)不同,非正交多址接入(Non-orthogonal Multiple Access,NOMA)从功率分配的角度,重新定义了资源分配的方式。通过将接入系统的多个用户在功率域上进行非正交叠加、人为引入干扰、适度提高接收机的复杂度为代价,可以使有限的频率资源高效地利用,从而满足下一代无线通信系统对高速率和海量连接的需求。
解析文物保护单位的时空分布特征,对于保护、挖掘和传承民族优秀文化具有重要价值。本文以甘肃省689处文物保护单位为研究对象,借助数理统计和GIS空间分析方法探讨其时空分布特征及其影响因素。结果表明:①六类文物保护单位在7个历史时期的占比不尽相同,古遗址、古墓葬、石窟寺及石刻、古建筑、近现代重要史迹及代表性建筑的分布具有很强的时代性。②文物保护单位的空间分布整体呈“东南高、西北低”特征,且古遗址、古墓