人脸表情识别,是通过计算机视觉技术自动分析计算人的情感状态,是计算机视觉领域内一个重要的研究课题,具有较高的科研价值和应用价值。近年来,普适表情识别已经达到较高的精度,而面部动作单元（Action Unit,AU）,作为一种通过对面部肌肉的运动划分类的更细粒度的表情描述,其识别率还有较大的提升空间。本文的主要研究对象是人脸动作编码系统（Facial Action Coding System,FACS）所定义的人脸面部动作单元AU。当前AU识别面临三个方面的挑战和问题:缺乏自然状态下的AU数据集、AU标签的不均衡问题、需要提取更鲁棒特征。针对这些挑战和问题,本文从数据和算法两个层面进行研究。数据层面上,本文采集发布一个真实课堂AU数据集,算法层面上,本文提出基于交叉拼接和时序网络的AU识别算法和基于注意力的人脸关键点助力和对比学习的AU识别算法。本文的创新点如下:1)采集、制作并发布了一个大规模真实课堂场景AU数据集（RFAU）,并针对该数据集提出有权重的均衡损失来解决AU的标签间不均衡和标签内不均衡问题。该数据集具有以下三个特点:一、提供了大量的中小学课堂与教学相关的面部动作单元数据,填补了教育面部动作单元数据集的空白;二、该数据集共包含256,220张人工标注AU的人脸图片,这些图片来自于1,796个未成年人,每一张都标注了12种AU,每种AU标注了6个等级强度信息;三、该数据集涵盖了自然场景的诸多挑战,包括不同的头部姿态、较低的分辨率、各种光照和遮挡等,补充了自然场景下的AU数据集。本文在该数据集上使用了先进的AU识别算法和AU强度估计算法作为基准。特别地,为了让这些算法更好地应用在RFAU数据集上,本文采用了有权重的均衡损失来解决AU的标签间不均衡和标签内不均衡问题。2)提出了一种针对AU识别的交叉拼接时序神经网络（CCT）模型,同时考虑了AU的物理特性和分布特性。具体而言,我们首先设计了一个交叉拼接块来提升少样本量AU的识别,然后引入了LSTM网络捕获时序信息。最后,把交叉拼接网络和LSTM网络学习到的特征进行融合,进行多标签的AU识别。在三个常用的公开的AU数据集上验证了该算法的有效性,F1 score均值超过现有的先进算法。3)提出了一种基于注意力的人脸关键点助力和对比学习的AU识别算法（ALAC）。该算法首先通过一个弱监督框架拆分与人脸关键点有关的特征和与人脸关键点无关的特征。然后,利用人脸关键点信息和注意力模型,融合人脸关键点特征和人脸底层特征进行AU识别。最后,该算法进一步地通过AU特征之间的对比学习提升AU识别效果,扩展了对比学习在多标签分类领域的应用。实验结果表明,该算法无论是在公共的AU识别数据集BP4D上,还是在真实课堂场景的学生AU识别数据集RFAU上,其F1 score均值都超过了现有先进的弱监督AU识别算法,并且可与先进的全监督的AU识别算法媲美。