基于生成对抗网络的图像翻译模型研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:guipaeren
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,计算机视觉领域受到越来越广泛的关注。图像作为人类沟通的重要媒介之一,在现实世界中具有许多重要的应用场景,如图像识别、图像生成、图像翻译等等。其中,图像翻译为该领域的研究热点。类似于语言翻译,图像翻译是指将图像从一个域的特征转换为另一个域的特征。随着近几年深度学习技术的发展,图像翻译领域的研究除了起初的图像风格迁移、黑白照转换、图像超分辨率提高、人脸动漫化以外,还包括图像实例级转换。虽然现有研究已经实现了风格纹理层面和分辨率层面的图像转换,但是由于图像中的物体形状特征难以控制,实例层面的图像翻译仍有许多问题。针对图像中物体实例的转换,需要复杂的处理技术和算法,因此这是一项极具挑战性的任务。为了解决这个任务的难点,本文主要关注基于生成对抗网络的图像到图像的翻译模型,研究其算法并改进模型,提高图像翻译在实例层级上转换的翻译效果。本文的详细研究内容主要分为以下几点:首先,提出一种掩码引导的图像翻译模型,以解决图像中物体形状特征丢失的问题。该生成模型,通过结合图像分割掩码,利用生成对抗网络和循环网络,学习潜在空间中源域的背景、姿态等编码和目标域的形状、风格等编码。生成器学习到的编码特征,在经过上采样解码,分为两条支线分别生成有效的样本原图和样本掩码。生成样本和原始样本都输入到判别器中,判别器辨别其真假。通过对抗,最终生成保留前景中物体形状特征的图像。其次,提出一种基于特征相似性的损失函数,以解决图像前景与背景在转换过程中分界不清晰的问题。该损失函数主要用以约束网络训练过程中数据集中物体姿态、物体占比、形状等特征,从而分离图像中的前景与背景,提高图像实例级的翻译效果。最后,为了验证提出的网络和损失函数的有效性,在MS-COCO数据集上进行实验。对比Cycle GAN和Insta GAN,在Inception Score和Fréchet Inception Score评价指标上均有提高,同时由于现有评价指标的不足及争议性,本文增加了人类偏好评价指标实验,在人类偏好评价上也获得了很大的提升。
其他文献
由于现代电子系统飞速发展,信号的频率越来越高,带宽越来越宽,瞬时性特征愈发明显,复杂化程度也不断增加。据采样定理可知,要应对数GHz的信号测试,示波器就需要具有10GHz以上的高带宽及数十GSps的高采样率。本文基于子带分解技术搭建40GSps,10GHz的高速高带宽数据采集系统,着重研究并设计其采集模块中的高速数据传输,宽带信号触发和宽带信号幅频补偿及在FPGA中的实现。本文的主要研究内容如下:
随着传感器技术的快速发展,可穿戴设备已被运用到了许多研究领域。利用可穿戴设备监测体征信号能够客观分析个体的身心健康状况。心率作为人体的一项重要生理指标,可以评估心脏活动能力,疲劳程度,通过监测心率变化与语音记录或者呼吸等可以用来评估情绪,但医疗中多采用单导联或多导联设备监测心电图来计算心率,在日常生活中存在不便。光电容积脉搏波描述法(Photoplethysmography,PPG)是一种运用PP
近年来社会经济飞速发展,出行需求日益增长,干线飞机需求量越来越大,但目前我国干线飞机主要依赖进口,在全球新冷战场景下,干线飞机的自主设计、生产需求日益迫切。随着系统工程的不断发展,基于模型的系统工程(Model Based System Engineering,MBSE)在航空领域有了更多的应用,相较于传统开发方法,MBSE以模型代替文档,且符合适航标准,是更适合用于对民机系统进行设计的方法。状态
随着卷积网络的逐渐成熟,卷积神经网络的应用越来越广泛,随之而来的模型安全问题也越来越受到人们的关注。近年来,针对卷积网络的模型攻防研究课题也受到越来越多人的关注。其中最具有代表性的是对抗样本攻防。对抗样本是模型的外部威胁,即外部输入造成模型的功能上发生异常错误。而本文更关注的是对模型的内部的攻防场景。例如,模型窃取攻击,它针对的是模型内部的隐私安全,模型窃取者通过窃取模型的功能达到个人的经济利益或
基于匿名通信机制的网络通过对用户身份信息和通信关系进行隐藏,可以给用户提供一个信息安全的网络环境。但是,匿名网络提供的身份匿名性可以帮助犯罪分子进行违法犯罪活动,同时给网络空间安全管理带来了极大的麻烦。因此,对匿名网络流量和正常流量进行识别分类对网络空间的监管具有积极意义。本文使用不同的深度学习技术对匿名网络流量分类进行了研究,根据对匿名网络流量进行特征学习的思路不同,总共提出了三种分类方法,分别
新时代科技的发展尤其是互联网技术的普及使得教育教学的方式和环境都产生了翻天覆地的变化,其主要表现为知识传播形式的革新和信息量的暴增,网络教学系统层出不穷。截至目前,网络教学系统多采用基础B/S架构。然而由于依托于浏览器,这些系统难以针对用户特点和习惯实现个性化功能,只能以统一、公用的平台进行教育教学;另一方面,B/S架构的网络教学系统对课程运营者服务端有较高的性能要求,其开销也极大地限制了网络教学
随着近年来我国创新驱动发展战略的实施,航空航天作为国家的重点产业也在飞速发展着。复合材料在航空航天行业的生产中起着无可替代的作用,现有的复合材料管理方式以纸质材料和电子表格为主,这种方式不仅无法使材料管理人员实时掌握材料状态和用量,而且极易造成材料的浪费与报废,尤其是对于复合材料中的易变质材料。现代先进航天器与大飞机的生产对这部分易变质材料的管理提出了更高的要求,因此有必要探索新的管理方式。本文对
设计更改是设计单位根据客户、工程需要或者修订发现错误时对原设计文件进行调整,是制造企业科研生产经营活动中一项非常常见和重要的工作。随着企业不断发展壮大,数字化制造等技术的不断应用,产品创新和改善的频次越来越高,同时客户化定制、敏捷制造的流行,传统的纸质管理方式已越来越无法跟上转变的步伐,使公司在管理设计更改时浪费大量的人力物力。不少企业已建立起以PDM、ERP和MES等系统为基础的先进数字化管理体
为了满足航空数控产品高质量的要求,国外洛·马、波音、空客等行业巨头已开发集成的质量管理系统并投入现场使用,这些行业巨头借助于设计系统、制造资源系统、财务系统等,开展了全面的质量信息化管理。而目前在公司内部,作为质量控制的重要环节,质量数据统计、上报仍然依赖传统单机Excel的形式,检验数据离散的分布在生产制造流程的各个环节,部分记录仍以纸质载体为主,且最终统计结果数据存储于统计人员的本机上,无法与
中国电信某省分公司CRM系统为千万数量级用户提供了电信通信商品销售、售后、自助受理等信息化服务。随着移动互联网、手机及宽带业务发展,CRM系统应用的功能越来越丰富,业务的逻辑规则也越来越复杂。为了更加有效地解决业务高峰期服务响应缓慢、数据库连接数量激增等问题,CRM系统开始向着基于分布式服务的互联网架构进行转型。随着CRM 3.0的“云+平台+应用”的架构改造工作开展,系统原有的数据交互方式也不再