随着国家对公共安全的重视,视频监控系统在刑侦治安领域得到了广泛应用,对视频监控中人脸图像的高分辨率显示和识别也愈发重要。然而,由于成像设备本身及现实环境存在多种不利因素,导致获取的人脸图像质量差,受噪声和模糊影响严重。而人脸超分辨率技术可以在现有条件不变的前提下利用已有的低质量人脸图像重建对应的高质量人脸图像。因此,如何针对实际产生的低质量人脸,研究出高效的人脸超分辨率技术,提升人脸清晰度显得尤为重要。现有的超分辨率算法有基于流形学习的方法和基于深度学习的方法。前者基于在线的高低质量人脸流形结构一致性表示,通过高质量人脸样本直接合成得到重建图像;后者基于离线的高低质量人脸映射网络,通过低质量人脸图像预测得到重建图像。当人脸受到较强噪声和模糊影响时,前者的流形结构一致性表示准确性下降,导致该类方法如局部约束表示算法,在重建人脸五官细节的同时,也合成出了干扰信息;后者的映射网络在同时去除噪声和恢复细节方面性能下降,导致该类方法如深度卷积网络算法,在移除噪声后,重建人脸的五官细节不清晰。针对上述深度学习方法和流形学习方法中各自在低质量人脸超分辨率问题上的优势和不足,本文提出了一种基于深度学习与流形学习联合框架的低质量人脸超分辨率算法。算法设计的联合增强网络从局部约束表示算法和深度卷积网络算法各自的优势出发,通过自适应学习局部约束表示算法重建人脸的纹理细节信息,来补偿深度卷积网络移除噪声后人脸丢失的五官细节,以一种将噪声信息和纹理信息“分离”学习的方式来重建高质量人脸图像。在此基础上,考虑到图像深层特征对现有基于深度学习的人脸相似度比对性能的影响,在联合增强网络的基础上引入一个判别约束网络,来约束联合增强网络对人脸细节的增强,以进一步提升重建人脸与高分辨率人脸图像间的相似度。实验表明,在仿真的CAS-PEAL-R1数据上,本文提出的超分辨率算法与局部约束表示算法相比,客观指标PSNR,SSIM和FSIM平均值提升了1.2dB,0.05和0.02;与深度卷积网络算法相比提升了0.3dB,0.01和0.01。在真实低质量人脸数据上,与局部约束表示算法和深度卷积网络算法相比,人脸相似度比分平均值分别提升了0.05和0.02。主客观结果的提升表明提出算法有效地重建了人脸图像的五官细节,提升了人脸清晰度以及与高分辨率人脸图像的相似度,这对于人脸超分辨率的实际应用具有重要意义。