图像修复是图像编辑任务中的常见操作,目的是用合理的像素值填充图像中的缺失或被遮挡区域。传统的图像修复方法,通常基于纹理扩展或相似块匹配,这些方法无法修复一些缺失面积较大,缺失区域结构复杂的破损图片。特别是人脸图像的修复,如何保证修复结果的整体连贯性,同时还原缺失部分的细节和纹理特征,一直是一个不小的挑战。近年来,随着深度卷积网络在计算机视觉任务中的广泛使用,利用深度生成模型的图像修复方法已逐渐成为主流。目前最具前景的图像生成模型是GAN生成对抗网络,GAN通过生成器和鉴别器之间的对抗学习能生成以假乱真的图像,因而十分适合图像修复这样的任务。对此本文设计了一种基于生成对抗网络的人脸图像修复方法,主要的研究内容如下:(1)针对GAN网络训练不稳定,特别是对于修复缺失面积大,缺失形状各异的人脸图像修复网络难以训练的特点,设计了一种基于谱归一化和分块判别的两阶段图像修复网络。谱归一化方法使得判别器满足Lipschitz连续,稳定GAN网络的训练。而基于分块判别的判别器结构和基于两阶段修复的模型结构能使得修复结果看起来更真实清晰,细节更丰富。(2)在上述基础修复模型的基础上,提出增加破损人脸的语义分割预测模块。语义分割预测模块能基于破损的人脸图片直接预测缺失部分的语义分割类别信息,该信息揭示了人脸各部件包括五官的位置及其大小。将该信息作为附加通道送入基础修复模型中辅助修复网络对人脸图像进行修复。该模块的加入使得图像修复过程中的结构推理和内容填充这两个任务得到解耦,不但降低了基础修复模型的修复难度,而且避免了修复网络输出不合理的修复内容,例如五官大小不合适,位置不合理等。(3)探索了本文设计的人脸图像修复模型在人脸自动去遮挡中的应用。由于修复模型需手动指定破损位置,生成破损掩模,所以无法完成人脸的自动去遮挡。本文利用现有的人脸检测工具,得到人脸各部分被遮挡的概率大小,从而在被遮挡区域生成破损掩模,然后利用修复模型对人脸图像进行自动去遮挡。另外本文还研究了如何在去遮挡的过程中恢复因为人脸被遮挡而丢失的部分人脸身份特征。