基于多任务增强生成对抗网络的人脸图像合成研究

来源 :西北大学 | 被引量 : 0次 | 上传用户:yongxi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当前计算机视觉领域,针对人脸的分析研究有助于计算机理解人类情感,从而更好地为人类服务。面向人脸的图像合成任务是指对目标属性进行转换,同时保留其他面部特征。然而由于人脸的特殊性和复杂性,生成具有真实感的图像是此任务的一大挑战。传统图像合成方法缺乏针对性,并且基于深度学习的人脸图像合成算法通常采用一对一的映射网络,合成效率也不高。本文在现有人脸图像合成算法的研究基础上,对多任务增强生成对抗网络的图像合成进行研究。首先,构建多任务学习框架,先后提出基于注意力机制的双域生成对抗网络和层次化残差掩膜优化网络,以改善人脸合成图像的质量和稳定性。并在两个人脸数据集上分别进行训练和测试,通过定性定量地分析和评估,验证算法的有效性,主要工作包括:(一)简要介绍了图像翻译和人脸图像合成的基础知识,研究了几种具有代表性的图像合成算法,在此基础上对人脸图像合成网络进行研究。(二)论证了提取频率域特征信息对图像合成的作用,并以此提出了一种基于注意力机制的双域生成对抗网络。针对现有方法只关注空间域信息的局限性,该网络结构中的双域卷积模块同时提取图像的空间域信息和频率域信息进行处理,保持图像在空域和频域两个不同维度上的优势,从而共同指导图像信息的合成过程。同时为了更充分的利用提取到的特征信息,将多尺度注意力机制嵌入双域生成对抗网络中。其中多尺度卷积算子自然地学习从粗粒度到细粒度的多尺度特征,以得到更丰富的特征信息图作为输出。最后通过在Celeb A数据集上进行对比实验,证明了该网络在人脸图像合成任务中的有效性和可行性。与文中提到的基线方法相比,本方法充分挖掘了原始图像中的信息,提高了合成图像的多样性。(三)为了进一步提升合成图像的质量,提出一种层次化残差掩膜优化网络。针对人脸的特殊性和复杂性,本文研究利用掩膜图像策略计算网络训练过程中不同层次特征图之间的残差作为掩膜信息,并以长连接的方式逐步注入网络。将计算得到的多层次掩膜特征融合到一起,即可输出最终的合成图像,以此达到保留人物面部原始结构信息的目的。在Celeb A数据集和Ra FD数据集实验得到的结果证明本方法对于保持人物的特征一致性非常有效。本研究中提出的两种图像合成算法,在多项指标上均优于现有模型。为后续针对人脸合成的研究提供了新思路。
其他文献
随着中国老龄化程度的加剧,社会养老保险基金的压力倍增,围绕养老保险制度与退休政策施以有针对性的改革措施迫在眉睫。养老保险作为居民退休后的重要生活保障,它将如何影响退休决策值得我们关注。现有文献多为社会基本养老保险对退休决策的作用,鲜少提及年金及商业养老保险。此外,退休是一个从酝酿退休意向到实际进行退休行为的过程,而国内研究只关注退休预期或退休行为中的一个方面,对退休路径中可能存在的退休过渡期也了解
学位
图像去雾是指对雾天采集到的有雾图像进行去雾处理,使得图像清晰化,提高图像质量。近些年,图像去雾算法的研究越来越多,取得了一定的成效,然而,这些模型仍旧存在着一些问题,例如模型性能与运行时间之间的平衡、模型无法有效地去除浓雾、合成数据集上训练的模型无法有效迁移到真实场景和去雾后的图像在小目标检测上效果不好等,这些问题导致去雾算法无法在实际场景中被很好的应用,为了解决上述问题,提出本文的研究内容,本文
学位
行人重识别作为智能视频监控领域中一项关键性技术,旨在从非重叠视角下的监控摄像头采集的图像数据中正确识别出属于同一行人的图像。近年来,深度学习的发展给行人重识别的研究提供了有力的技术基础,其中基于局部特征的行人重识别方法能够有效提升行人重识别准确率,但是大多忽略了行人局部特征之间潜在的关系,由于受到复杂背景噪声和行人姿态变化的影响,以及行人图像间存在相似行人外观或局部遮挡等情况,给行人重识别的研究带
学位
在经济快速发展与生态环境保护相冲突的时代背景下,我国愈发重视对生态文明的法制建设。但是基于社会连带关系,环境侵权责任从矫正主义向分配主义发展和以受害人为救济中心的理论基础,环境侵权责任向社会化方向发展,环境侵权法律制度不能有效解决生态环境污染案件,环境责任保险应运而生。环境责任保险,是设立于环境侵权责任基础上的险种,与环境侵权法律制度的发展密不可分。《民法典》侵权责任编的实施进一步推动环境侵权法律
学位
系统发育树构建是古生物系统发育分析的最终表现形式,是一个非常重要的计算生物研究领域,它帮助人类了解生物起源、进化以及未来发展方向。在古生物系统发育分析中,通常采用化石中采集到的形态学数据,根据物种的形态特征构建出一棵能够体现物种间进化关系的发育树。目前古生物系统发育分析研究正面临着以下几种问题:首先,由于化石保存不完整、物种之间的差异以及特征间存在层次关系等因素,使得古生物形态学数据中存在缺失和不
学位
图像是人们同外界进行信息交互的重要载体,由于现实生活中的图像往往比较复杂,具有多语义、多标签的特点,因此多标签图像分类任务是当前图像分类研究的重点。虽然当前基于深度学习的多标签图像分类算法取得了一定的成功,但仍面临着三个主要的挑战:第一为图像中包含多个不同尺寸的目标使得分类任务中小尺寸目标易被忽略。第二为图像中存在遮挡现象,减弱了分类网络的性能。第三则由于图像通常对应多个类别,导致输出空间呈指数型
学位
前列腺癌是当今全球男性患病率第二高的恶性肿瘤疾病,且发病率每年保持增幅态势,被称为“男性的第二大杀手”。尽早诊断前列腺癌,并且及时合理地治疗可以有效减轻病人痛苦,提高存活几率。核磁共振成像(Magnetic Resonance Imaging,MRI)作为一种无创、低成本的检测手段,现已成为放射科医生检测患者前列腺病症的重要依据,被广泛应用于临床。计算机辅助诊断技术(Computer Aided
学位
医疗保险作为保障国民健康水平、缓解家庭就医压力和提升居民就医可及性的重要举措,扩大覆盖范围和提高保障水平一直是世界各国政策制定者在医疗改革中主要推进的卫生政策。从上世纪90年代末以来,中国政府对医疗保障体系不断进行改革和完善,1998年建立城镇职工基本医疗保险制度(简称“城职保”),2003年试点新型农村合作医疗保险(简称“新农合”),2007年推行城镇居民医疗保险(简称“城居保”)。虽然新农合和
学位
根据国务院印发的《中国儿童发展纲要(2021-2030年)》,新的儿童发展纲要强调缩小儿童发展的城乡、区域、群体差距。家庭环境作为儿童生活的最重要的场所之一,备受学者们的关注。家庭居住环境、家庭经济环境和家庭关系都直接影响儿童的健康状况。本文采用1997年至2015年中国健康与营养调查(CHNS)7期调查数据,选取0-18岁儿童作为研究对象,研究家庭环境对儿童客观健康和主观健康的影响。家庭环境包括
学位
2020年我国脱贫攻坚战取得了全面胜利,进入“后脱贫时代”,巩固脱贫攻坚成果、预防规模性返贫和乡村振兴成为了新时代下我国扶贫工作的重心。风险和脆弱性仍然是造成贫困的本质。其中,便不乏由于重大疾病、意外伤害等早逝风险引起的因逝致贫、返贫现象。近几年来,生活方式、工作节奏的改变使得过劳死、猝死、癌症成为了青壮年劳动力生命终结的重要诱因之一,早逝风险严重威胁着家庭经济状况。一旦家庭劳动力逝世,家庭不仅会
学位