论文部分内容阅读
人脸替换是将目标图片中的某个人的身份替换为源图片中的另一个人的身份,同时保留原本的属性,例如头部姿态,面部表情,肤色,光照,背景等。人脸替换在隐私保护、视频合成、游戏渲染以及其他创意应用程序等方面具有广泛应用价值。传统人脸替换常常依托大量的手工劳动来消除瑕疵,存在大量的重复操作,效率低,通用性能差。近年来随着图形学和深度学习的发展,图像生成的效果和效率均取得了巨大提升。针对目前主流的几种人脸替换算法存在的替换效果不佳的问题,本文基于生成对抗网络,交叉重组身份、属性、面部特征点三路特征,提出了一种单个模型、单次训练、单张参考人脸图像即可实现开放集下任意人脸替换的算法,并围绕此算法设计搭建了可稳定高效进行批量人脸替换的自动化框架。开展的主要工作如下:(1)提出了任意人脸替换算法的结构和流程,采用改进后的WGAN作为人脸替换算法的基础结构;引入身份编码器、属性编码器、面部特征点提取器,针对面部特征点耦合身份特征影响生成器身份保持能力的问题,提出了面部特征点转换模块,解耦面部特征点中的身份信息,尽可能地发挥特征点在保持姿态表情方面地作用;介绍了人脸替换算法的损失函数和训练流程,能够无监督地完成属性编码器地训练,生成高质量的替换结果。(2)围绕人脸替换算法,提出了一套稳定高效的可用于批量人脸替换的自动化框架。其中预处理流程提取场景图像中的人脸,并与标准脸对齐,减弱了背景和角度的影响;后处理流程采用泊松融合将替换人脸无缝贴合回原场景图像中;针对泊松融合引起的光晕问题,提出了一种自适应分割模板的策略,可以最大限度地消除融合边界的光晕。(3)提出了衡量替换人脸图像质量、身份保持能力和属性保持能力的定量指标,并在此基础上做了大量对比实验。通过对人脸替换算法的各个模块进行消融实验,证明了面部特征点提取模块可以显著提升生成图像姿态和表情的保持能力,同时本文提出的特征点转换模块可以有效地解耦面部特征点所包含的身份信息和姿态表情信息,在保证生成图像具有高姿态表情一致性的同时,也拥有非常高的身份一致性;本文还在假脸视频检测基准数据集Face Forensics++上,与现有主流人脸替换算法进行了定性和定量对比,表明本文的算法在生成图像质量、身份保持能力、姿态表情保持能力上,均优于目前主流的人脸替换方法,证明该算法的正确性和优越性。