极低分辨率人脸图像仅能为人们提供较少的信息,为后续的人脸检测、识别技术带来了挑战。而人脸图像超分辨率重建技术可以通过对一幅或多幅低分辨率图像进行处理得到高分辨率图像,从而为后续处理提供良好基础。目前发展较成熟的是4倍人脸图像重建技术,但是在实际应用场景中,对于极低分辨率人脸图像还需要进行更大倍数的重建。只是当重建倍数为8时,大部分重建技术效果会急速下降。为此,论文的主要研究目标和研究工作是使用深度学习技术来提高极低分辨率人脸图像8倍重建的效果。论文的具体研究内容如下:(1)基于残差块的人脸超分辨率重建方法研究与设计。论文以经典的基于残差块的重建模型SRResNet为基础,从两种特征利用的角度对其残差块进行改进,分别构建了基于残差SE模块的重建模型FRSENet和基于残差密集块的重建模型FRDBNet。一种特征利用角度是特征重标定——对人脸各特征通道按重要程度进行赋值,以鼓励残差块学习对重建效果有利的特征,具体是通过构建残差SE模块来实现;另一种角度是特征重用——通过密集连接前后卷积层实现特征的由前至后逐层传递共享,以丰富学习过程中的特征,提升重建效果。实验表明,提出的两种重建模型均能够提高重建效果,其中FRSENet较SRResNet的PSNR值和SSIM值分别提升了0.19db和1%;FRDBNet较SRResNet的PSNR值和SSIM值则分别提升了0.29db和1.02%,可见FRDBNet模型重建效果更佳。(2)基于渐进上采样网络的人脸超分辨率重建方法研究与设计。论文在上述研究成果FRDBNet模型的基础上,采用了渐进式上采样网络结构——将常用的仅在网络末端进行上采样的方法改为多阶段上采样,由多个仅需完成较低倍数重建任务的上采样阶段组合实现大倍数重建。同时利用该结构,以不同阶段标签高分辨率图像与重建图像之间的损失函数代替常用的以最终结果表示的损失函数,实现网络参数优化的多阶段有效监督。最终,为进一步恢复人脸图像的高频信息,论文引入生成对抗训练机制,构建了基于生成对抗网络的人脸重建模型EFRDBNet-GAN。实验结果表明,EFRDBNet的PSNR值和SSIM值较SRResNet分别提升了0.45db和1.05%,且EFRDBNet-GAN提供了最优的视觉体验。(3)人脸超分辨率重建原型系统设计。论文使用Python语言实现了人脸超分辨率重建原型系统,该系统主要为论文提出的重建方法提供了测试功能,同时实现了对重建图像的管理功能,为使用者提供了良好的体验感。