面部运动单元(Action Unit,AU)检测旨在令计算机自动检测面部图像中的AU目标,以辅助面部表情识别和情感分析,相关研究具有重要的研究意义和广泛的应用价值。本文在充分挖掘面部AU在空间和时间维度上的语义共生性的基础上,分别提出和实现了三种鲁棒的AU检测算法。本文主要研究工作总结如下:(1)提出了一种鲁棒的注意力增强网络(Attention-Enhanced Network,AE-Net)模型。所提模型首先采用多任务级联网络进行面部对齐,以获取精准鲁棒的landmark,然后依据面部先验知识生成基于landmark的注意力图,以增强AU关联的ROI特征,并抑制与AU检测无关的区域信息。BP4D和DISFA数据集上的实验结果验证了AE-Net模型所提特征的鲁棒性,与微调的VGG网络相比,AENet的F1指标分别提升了8.1%和4.4%。(2)提出了一种多尺度区域学习网络(Multi-Scale Region Learning Network,MRL-Net)模型。常规区域学习层,区域划分方式单一,处理不同大小的AU区域纹理信息的能力有限。所提模型通过引入多尺度区域学习层,可充分融合原始特征图完整的全局信息及区域学习层提取的有效区域的细节信息,保证特征的完整性和有效性。另外通过自适应阈值的引入,所提模型对人的外观差异、光照条件等外界干扰因素更具鲁棒性。BP4D及DISFA数据集的实验结果验证了所提模型的有效性,与DSIN模型相比,所提MRL-Net模型的F1指标分别提升了2.6%和5.8%。(3)提出了一种时空共生关系表征网络(Spatial-Temporal Co-occurrence Representation Network,STCR-Net)模型。所提模型包括空间注意力双流融合网络及时空共生关系提取网络两个模块。空间注意力双流融合网络可在注意力引导下融合全局和局部空间特征,使模型不仅能关注面部整体信息,而且能捕捉AU关联区域的细节信息,充分挖掘AU关联的空间共生语义。时空共生关系提取网络则采用LSTM对前者获取的空间共生表征进行时序关系建模。与前沿的ARL模型相比,所提STCR-Net模型在BP4D及DISFA数据集上的F1指标分别提高了13.2%和5.6%。