论文部分内容阅读
随着深度学习研究日渐深入,基于生成对抗网络的图像风格迁移算法也得以快速发展,并在各个领域中都具有较为广泛的应用。尤其是在以抖音,快手,陌陌为代表的短视频平台中大放异彩。各平台推出的如旧照片修复、静态照片转动态照片、三星堆文化贴面等特效都是基于对抗神经网络的实际应用。基于生成对抗网络的图像风格迁移算法在短视频平台应用极为广泛,深受用户喜爱。本文在CycleGAN的基础上做出多处改进,并提出了BabyGAN,使改进后的生成对抗网络在成人变宝宝脸特效中具有更好的实用性,并在人脸融合的过程,提出新的融合策略,针对生成对抗网络在风格迁移的改进创新以及人脸融合改进创新如下:对CycleGAN生成对抗网络进行改进后,提出了成人脸变成宝宝脸风格迁移生成对抗网络BabyGAN。BabyGAN在网络中增加了一致性约束损失,用于约束真实人脸组件与预测人脸组件的面部结构,并在Warp人脸和宝宝人脸之间建立显示对应关系。并且增加了2个全局判别器,分别是用于X到Y的无条件全局判别器和用于预测的人脸组件与Warp图的条件全局判定器。输入一个5通道的约束性组件,包括单通道的人脸Mask组件、三通道的人脸火柴棒组件、单通道的人脸轮廓组件。生成器输出较为粗糙的娃娃脸,然后通过一个一致性约束网络约束人脸组件并进行预测生成,最后通过3个局部鉴别器进行判别,最终生成一个符合Warp人脸面部特征的逼真的娃娃脸。对BabyGAN生成对抗网络引入注意力机制的改进,增加肤质Mask注意力机制网络,对人脸肤质的关注度进一步提升,使网络的肤质生成能力进一步加强,最后完成肤质的提升。在人脸融合的过程中,针对底层Mask进行不同核大小的高斯模糊以及双边模糊操作,实现图像风格的迁移。对改进前后的BabyGAN训练模型得到的宝宝图像与CycleGAN模型得到的宝宝图像进行数据对比分析,结果显示,本文所提出改进方法具有更好的效果,生成的宝宝图像效果更好,在工程领域的实际应用中更有优势。