基于生成对抗网络的水墨风格图像迁移技术研究

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:helen527
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像风格迁移是近年来十分活跃的研究方向,该研究因其迁移结果的多样性,及其特征提取的思想在其他计算机视觉应用中具有通用性,从而具有一定的应用价值和学术价值。水墨画作为我国重要的文化遗产,具有极强的艺术风格特性,是传播中华文化的重要代表。科技和艺术的融合研究是近年的学术热点,为了更好地弘扬民族文化,本文将风格迁移与中国水墨艺术画相结合,基于循环式生成对抗网络(Cycle GAN)提出了一种新的水墨风格迁移算法,实验表明该方法对水墨画的笔触、留白及墨水扩散等典型特征的学习效果,能够很好地对普通照片进行水墨风格的迁移。本文贡献总结如下:首先,针对现有迁移方法在图像生成中存在语义信息不完整,局部色块误差,墨水过渡不均匀等问题,本文设计了结合自适应实例标准化(Ada IN)的单个循环网络结构。在该结构中,将对抗损失和循环一致性损失相结合以实现图像语义信息的完善,这是由于对抗损失能够学习到真实数据的近似分布,一致性损失能够减少数据域之间映射的路径;水墨画留白特征的抽象性表明模型应当学习更低层次的特征,甚至丢弃一部分特征以留出空白,然而基准模型中两个循环的结构由于约束较强导致模型学习更高层次的特征,因此本文采用单个环路来缓解这种约束,以生成自然的留白效果;为了实现墨水分子的扩散效果,本文在生成网络的编码过程后引入Ada IN模块,将内容图像和风格图像编码后的特征图通过该模块进行整合,以便在解码过程中引入水墨画的风格信息。其次,针对生成水墨图像质量的提升,本文设计了结合多尺度结构相似性(MS-SSIM)损失的优化目标。在重构损失部分将MS-SSIM损失和1L损失相结合,不仅能从亮度、结构以及对比度等多个角度加强对重建图像的约束,还能弥补图像亮度变化及颜色偏差,实现高质量的图像生成。最后,为了验证本文方法的可行性及优越性,本文在FID,Kernel-MMD,以及PSNR和SSIM等多个评估指标上,和现有的Distance GAN、Cycle GAN、Chip GAN等方法进行比较,实验表明,本文方法能很好地完成真实照片转水墨画的风格迁移任务,很好地生成了水墨风格特征的图像。
其他文献
近年来,物联网技术和应用得到了快速发展,实时处理物联网设备产生的海量数据对于提升数据价值密度,快速响应业务事件具有重要意义。物联网终端设备众多,产生的数据经过复杂且不稳定的网络,可能会有乱序情形,针对乱序数据的数据分析和查询结果会出现错误,影响业务决策。此外,随着智能终端的发展,嵌套式结构逐渐成为物联网数据的常见格式,设计嵌套式数据存储与查询方法,提升数据检索速度是需要关注的问题。基于上述分析,本
随着工业数字化、网络化的快速发展,互联互通、智能化的工业物联网(Industrial Internet of Things,IIoT)应运而生。IIoT作为国家基础设施的神经中枢,需要高安全性的通信协议互连,因而协议的安全性分析尤为重要。协议安全分析的前提是已知协议格式,然而IIoT设备厂商出于优化通信性能或提供个性化功能等因素考虑,导致IIoT中存在大量的未知、私有协议。现有的对未知协议解析方法
随着我国互联网和移动通信设施的快速建设,使得以互联网技术和移动通信技术为基础的移动互联网的迅速普及,并带来了在移动互联网上运营的社交媒体应用的繁荣。繁荣的社交媒体应用促进了进入互联网应用的门槛的降低,更多的人成为互联网信息的创作中心,丰富了互联网的内容。但是,互联网上丰富多彩的内容对在快速的生产生活节奏下的人们高效获取信息造成了障碍。通过高质量的文本摘要可以提升人们在选择和获取信息时的效率。随着计
中文文本的自动校对技术是自然语言处理的重要应用技术之一。当前使用深度学习的方法进行中文文本校对或者使用深度学习和传统方法结合已经成为主流。然而使用深度学习方法最重要的挑战之一是没有足够多的标记数据用于模型的训练。为解决校对数据不足的问题,本文提出自动生成中文文本校对语料库的方法。鉴于当前中文校对数据分为两类,即中文文本拼写校对和中文文本语法校对,因此本文的主要工作有两点:一是自动生成中文拼写校对语
随着软件安全性的重要性日益增长,在设计阶段发现问题以规避后续修复问题的成本变得越来越重要,使用模型驱动的方法进行软件开发也因此越来越受到重视,这同样也对嵌入式系统的软件安全性分析提出了更高的要求,在这种趋势下危害演化链应运而生,危害演化链具有演绎性分析、集成多方面信息、分析结果更全面更系统等优势。此外,对于软件系统尤其是嵌入式软件系统,安全性问题发现的阶段越早,后续修改的成本越低。而相比于对静态模
超分辨率重建(Super Resolution,SR)是图像处理领域的重要组成部分,也是当今科学研究的热点问题。本文的研究对象是在静电悬浮结合垂直真空落管实验设备上采集的低分辨率(Low Resolution,LR)材料熔滴图像。针对现有的SR方法应用在熔滴图像上往往会出现边缘模糊、纹理细节信息不足等问题,本文以卷积神经网络(Convolutional Neural Networks,CNN)为主
随着物联网技术和众多新科技成果的结合与发展,产生了诸多便利生活的设备,这些设备在使用期间,产生了大量隐私、敏感数据,与此同时,私人数据的收集、泄露已经越来越隐蔽、普遍,因此物联网资源安全访问控制就变成了一个亟待解决的问题。访问控制技术常常被用来解决物联网在信息通信和访问中的安全性问题,但是传统的访问控制系统容易单点故障,且在不可信的环境中进行访问控制操作容易发生数据泄露。区块链和访问控制技术结合,
随着人工智能技术的快速发展,以及人们对新兴技术的迫切需求,催生了数量众多的智能创新与应用,以智能汽车为代表的智能交通建设已成为国内外一个极具研究价值的重要课题。激光雷达(LiDAR)传感器依据先进的激光测距原理,获取的环境点云数据精确度高,测量的范围广,不易受天气、光照、物体表面纹理等影响,已被广泛应用到各种智能移动设备的环境监测、自主导航、路径规划中,是智能汽车实现环境感知的核心设备。然而,Li
近两年,受疫情的影响,人们进出公共场合需进行登记与身份验证。目前普遍采用的人脸识别系统易受口罩遮挡的影响。本文从虹膜识别领域出发探索一种面向移动端的虹膜识别方法。与传统虹膜识别方法相比,基于神经网络的虹膜识别方法精度更高、系统鲁棒性更强,但其参数量庞大,对运算、存储需求较高,难以部署在硬件有限的移动端设备上。为解决上述问题,本文提出一种将轻量化网络结构与模型量化技术相结合的轻量化神经网络用于移动端
移动边缘计算是在物联网背景下的一种分布式计算模式,可以将计算、存储以及小型云中心的处理能力转移到网络边缘。本文从移动边缘计算的架构、特性优势,对邻近性与位置获取进行阐述,对几种新兴的应用场景做了分析,进一步讨论了移动边缘计算在未来的发展以及可能遇到的挑战。本文以节点的移动性预测与计算卸载方法两方面开展研究,主要内容如下:设计了基于移动边缘计算的预测服务框架,利用岭回归优化回声状态网络,对移动节点出