微表情是一种持续时间短、运动幅度小和非自愿的面部表情,通常发生在一个人故意或不自觉地隐藏他或她的真实情感时,这为揭示人们的真实心理或情绪提供了理论依据。因为微表情可以揭示人们真正的心理状态,已成为人类情感和情感现象理解的重要课题,被心理学、社会学、神经科学、计算机视觉等各个学科所探索。这些技能对心理治疗师、面试官和任何从事沟通工作的人都具有实际应用意义。在刑侦审判、安全防护、心理咨询等领域有重要的应用。随着计算机视觉技术的飞速发展,微表情检测和识别技术也层出不穷,越来越多的技术应用到微表情检测和识别中去,但是大部分检测和识别算法仍存在不足之处。起始结束帧的检测方法常常使用微表情序列的最大时长作为滑窗的大小,或者通过定位高潮帧,之后取高潮帧前后一定间隔作为起始帧和结束帧,固定了微表情的时长;且将微表情检测看成是分类任务,不能反映候选滑窗属于微表情片段的程度大小,导致起始帧结束帧预测不准确。微表情识别的最大困难在于数据库的样本数量有限以及样本之间的细微差异,使得识别率无法进一步提升。为了解决上述问题,本文借助BERT网络和三维卷积神经网络学习微表情序列更细微的特征,借助分组算法更加准确的定位微表情的起始帧和结束帧。借助对比学习的思想,学习不同模态的共享信息,使得在有限的数据样本情况下,学习到更强的特征表达。具体而言,主要贡献如下:●提出了基于BERT网络的微表情检测算法。该算法主要包括三部分:候选片段产生模块、时空特征提取模块和分组模块。具体而言,利用候选片段产生模块,将微表情序列划分为若干个小尺寸微表情候选片段;为了学习微表情片段中的细微特征,时空特征提取模块将候选片段分成不同的时隙,利用三维卷积神经网络学习时隙内的特征,利用BERT网络学习时隙间的特征;同时,为了准确刻画候选片段属于微表情片段的程度大小,采用了回归损失优化模型;为了准确地定位微表情的起始帧结束帧位置,使用了分组算法对连续的候选片段进行合并,并对重叠的片段进行抑制。在CASMEⅡ和SDUspotting数据上进行了大量的实验,结果表明,本方法具有更高的检测准确率。●提出了基于双模态对比学习的微表情识别网络。该网络主要包括三个模块:双模态特征提模块、双模态对比学习融合模态和分类识别模块。具体而言,因为数据库样本数量有限,而样本不仅包含情绪类别的特征,还包含样本之间的通用特征。所以首先将微表情序列分成RGB序列和光流序列;之后利用对比学习构建RGB序列和光流序列之间的对比学习损失,使得网络可以学习到两种模态的通用特征;为了学习到微表情的类别信息,本文将模态特征进行融合,并利用标签数据优化模型。保证网络在通过对比学习学习到两种模态之间的共享信息的同时,又能通过监督学习学习到不同类别的特征。此方法在CASME Ⅱ、SAMM和MMEW上进行了广泛的实验,验证了所提算法的有效性。