随着人脸分析及识别在社会安全、人机交互和智能服务等领域的需求日益增加,人脸分析及识别的研究意义及价值也逐渐得以体现。而人脸中最重要的部位是五官和轮廓,如何精准高效的定位这些包含了人脸的绝大多数的语义信息的部位是人脸分析及识别的重要前提。目前大多数的人脸关键点检测方法都只关注2D人脸模态下的关键点分布。这些方法更加关注图像上看得见的部位,这导致人脸真正的空间结构在大姿态引起的自遮挡情况下被忽视。本文旨在提出新的可以同时适用于多种模态下的人脸关键点检测方法。尤其在头部大姿态的情况下检测2D人脸关键点和自遮挡的3D映射人脸关键点依然是一个充满挑战的问题。本文针对这些问题提出了新的深度学习模型以解决人脸大姿态下2D人脸关键点及3D映射人脸关键点的检测。论文的主要内容和工作如下:1.针对无约束环境下的头部大姿态问题,提出了 MDP(Markov Decision Process)调整策略来优化级联回归方法中的初始化敏感问题。对比传统的级联回归方法,MDP初始化策略会从奖励函数中学习一个动作集合,这一系列的动作会对图像的裁剪进行调整,使得网络的初始输入覆盖更多的人脸语义区域。2.深度学习需要大量数据用于神经网络的训练,多个不同模型的训练会大大增加时间成本。在第三章节中建模两种模态下的人脸关键点检测任务为一个并行多任务模型。为此,设计了一个多智能体共同学习模型,在这个模型中,2D人脸关键点检测智能体与3D人脸关键点智能共享学习到的共有特征,从而达到增强特征表达的目的。3.为了解决多种模态下大姿态导致的人脸极端形变问题,在第四章节提出了建模人脸区域之间的约束关系,这种细化的人脸区域之间的约束关系可以使形变区域之间相互的负面影响降低。本文设计了一个关系结构化网络同时学习全局和局部的人脸约束关系,并通过强化学习方法对整个迭代过程进行优化。4.设计一个实验平台系统,对所提出的算法进行集成,可以实现人脸2D关键点检测、3D关键点检测以及多视角关键点共同检测等功能。