基于生成对抗网络任意人脸替换算法设计与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:ecfan1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸替换是将目标图片中的某个人的身份替换为源图片中的另一个人的身份,同时保留原本的属性,例如头部姿态,面部表情,肤色,光照,背景等。人脸替换在隐私保护、视频合成、游戏渲染以及其他创意应用程序等方面具有广泛应用价值。传统人脸替换常常依托大量的手工劳动来消除瑕疵,存在大量的重复操作,效率低,通用性能差。近年来随着图形学和深度学习的发展,图像生成的效果和效率均取得了巨大提升。针对目前主流的几种人脸替换算法存在的替换效果不佳的问题,本文基于生成对抗网络,交叉重组身份、属性、面部特征点三路特征,提出了一种单个模型、单次训练、单张参考人脸图像即可实现开放集下任意人脸替换的算法,并围绕此算法设计搭建了可稳定高效进行批量人脸替换的自动化框架。开展的主要工作如下:(1)提出了任意人脸替换算法的结构和流程,采用改进后的WGAN作为人脸替换算法的基础结构;引入身份编码器、属性编码器、面部特征点提取器,针对面部特征点耦合身份特征影响生成器身份保持能力的问题,提出了面部特征点转换模块,解耦面部特征点中的身份信息,尽可能地发挥特征点在保持姿态表情方面地作用;介绍了人脸替换算法的损失函数和训练流程,能够无监督地完成属性编码器地训练,生成高质量的替换结果。(2)围绕人脸替换算法,提出了一套稳定高效的可用于批量人脸替换的自动化框架。其中预处理流程提取场景图像中的人脸,并与标准脸对齐,减弱了背景和角度的影响;后处理流程采用泊松融合将替换人脸无缝贴合回原场景图像中;针对泊松融合引起的光晕问题,提出了一种自适应分割模板的策略,可以最大限度地消除融合边界的光晕。(3)提出了衡量替换人脸图像质量、身份保持能力和属性保持能力的定量指标,并在此基础上做了大量对比实验。通过对人脸替换算法的各个模块进行消融实验,证明了面部特征点提取模块可以显著提升生成图像姿态和表情的保持能力,同时本文提出的特征点转换模块可以有效地解耦面部特征点所包含的身份信息和姿态表情信息,在保证生成图像具有高姿态表情一致性的同时,也拥有非常高的身份一致性;本文还在假脸视频检测基准数据集Face Forensics++上,与现有主流人脸替换算法进行了定性和定量对比,表明本文的算法在生成图像质量、身份保持能力、姿态表情保持能力上,均优于目前主流的人脸替换方法,证明该算法的正确性和优越性。
其他文献
目的:探讨用微创经皮肾镜取石术和经尿道输尿管镜取石术治疗输尿管上段结石的临床疗效。方法:对2013年7月~2014年7月期间我院收治的84例输尿管上段结石患者的临床资料进行回
荔枝(Litchi chinensis Sonn.)作为华南地区特产的经济型水果,因其营养丰富,品质优良深受消费者喜爱,对花芽分化的控制是荔枝高产稳产的前提。对荔枝的成花途径的分子机制研
近年来我国离职率一直处于较高水平,对于企业来说,离职率过高的话会削弱企业竞争力,不利于企业良好绩效的实现,对于个人来说,频繁的离职也不利于员工个人的长期发展。离职行
本文以水性烘烤型涂料为研究对象,结合汽车零部件的防护要求和相关标准,甄选11款水性聚酯树脂、11款水性丙烯酸树脂和3款水性氨基树脂进行性能评价,优选出适用的水性树脂。通
土地出让金返还即地方政府以职工安置补偿款、公共基础设施建设费用等合法的形式对投资方民营企业进行返还,以该合法形式掩盖政府在引入民间投资后给予民营企业投资回报的“
目的 :探讨用序贯疗法对合并幽门螺杆菌感染的消化性溃疡患者进行治疗的临床效果。方法 :对2013年4月~2013年5月期间我院收治的68例合并幽门螺杆菌感染的消化性溃疡患者的临
中小企业已在我国国民经济中占据了重要的位置,在创造就业机会、增加市场活力及推动技术创新等方面做出了巨大的贡献。2017年9月1日,新修订的《中华人民共和国中小企业促进法
目的 :探讨分析对发生新生儿肠胃功能障碍的患儿进行早期干预的临床效果。方法 :选取2013年10月至2014年10月间我院收治的发生肠胃功能障碍的新生儿80例作为研究对象,采用随