基于生成对抗网络的人脸遮挡区域恢复与姿态矫正

来源 :天津大学 | 被引量 : 0次 | 上传用户:gygc126
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸识别是指利用计算机系统对输入的人脸进行分析并比较其有效的特征信息来分辨被输入者身份的技术,其中处理人脸差异是人脸识别的关键所在。现有的人脸识别在受限环境下趋于成熟,然而在非受限环境下,人脸会受遮挡、光照、姿态等因素的影响出现差异性,降低人脸识别的性能。研究非受限环境下的人脸差异对人脸识别技术的应用具有重要的实用价值。本文针对非受限环境中的遮挡与姿态因素,通过结合生成对抗网络框架,提出了以下两种人脸生成算法。(1)针对非受限环境下的人脸遮挡问题,本文提出了一种基于生成对抗网络的人脸图像修复算法,以达到还原缺失区域、补全身份特征的目的。该算法引入预测人脸解析的模型来提升修复人脸图像的真实度与清晰度,并同时引入交叉感知注意力机制来提升前景区域与背景区域的特征关联性。为了提高任意形状遮挡下的人脸图像修复效果,该算法还引入了门卷积与Patch-GAN判别器。实验结果表明,本文提出的算法相比于目前的图像修复算法,在视觉效果与评价指标两方面均有所提升。(2)针对非受限环境下的多姿态问题,本文从风格迁移的角度出发提出了一种基于生成对抗网络的姿态转换模型(Face pose conversion Model,FPM)。该算法利用生成对抗网络的域迁移能力,将输入人脸图像的姿态转换到指定姿态,以达到缩小类内差异、优化身份特征的目的。FPM引入了基于人脸识别模型的身份感知损失,利用其先验知识保持姿态转换过程中的人脸身份。为了提升网络的生成效果,FPM通过生成人脸姿态的还原引入像素级的监督。实验结果表明,本文提出的FPM可以保持身份的同时改变人脸的姿态,提升了人脸识别性能。
其他文献
《大秦驭手》是一款马车驾驭虚拟体验系统,旨在为博物馆和个人用户提供秦代马车的趣味驾驭体验,展现了秦代的历史背景和风貌。为了提升用户体验效果和沉浸感,展现更好的游戏场景,对图形效果提出了更高的要求。本文通过为《大秦驭手》虚拟体验系统设计游戏特效开展了系统的实践研究,设计并开发完成多种特效系统:云雾特效系统、材质特效系统、镜头特效系统以及物理特效系统。并使各个系统有机结合。在塑造了鲜明的游戏视效风格的
作为智能交通系统的重要组成部分,车载自组织网(Vehicular Ad hoc Networks,VANETs)的发展一直受到国内外各界的关注。然而由于无线访问介质的开放性和车载自组织网自身的特性,其非常容易受到外界的各种攻击,这严重影响了车载自组织网的广泛部署与应用。为了确保道路交通的安全并保护用户的隐私,在车载自组织网中提供有效的匿名身份认证成为当今研究的热点。当前的认证方案大部分采用传统的假
在互联网技术迅猛发展的背景下,用户画像技术被广泛应用于各个领域,其核心是通过对用户各类行为进行分析,从而将用户特征抽象为标签形式。本文以真实校园网络行为日志为基础,对校园网络用户画像进行了深入研究。针对校园网络行为日志对学生行为类别表述模糊的特点,本文提出了融合压缩DOM树结构向量的行为类别标签预测模型,通过融合网页文本特征向量和DOM树结构向量并使用分类器进行分类,实现了对学生浏览网页的类别预测
近年来,随着计算机技术的发展,隐蔽通信已经成为一个比较活跃的话题。在本研究中,我们通过利用数字音频水印技术来实现隐蔽通信。数字水印是一种有效的军事领域秘密通信的技术,可以解决传统加密中存在的问题。它是将具有特定含义的信息嵌入到原始信号中而不影响其正常使用的过程。在传输时只需要传输嵌入水印的信号即可。由于信号在传输过程中,可能会遭遇不同程度的有意或者无意的攻击,因此在嵌入水印时,水印算法需要满足一定
目标跟踪是计算机视觉的重要研究课题之一,广泛应用于智能视频监控、自动驾驶、智能交通、航空航天、虚拟现实等领域。近些年,目标跟踪领域飞速发展,其中基于相关滤波的目标跟踪方法引人注目。目前,基于相关滤波的目标跟踪方法经过几年的研究与发展,已经进入瓶颈期,仅仅凭借相关滤波似乎已经无法取得更好的效果。本文以相关滤波目标判别模块为基础,结合基于卡尔曼滤波的位置修正模块和基于交并比网络的边界框优化模块,提出了
随着移动互联网的兴起和大量图像的涌现,如何提炼图像中的价值备受关注,而视觉注意机制的研究可以帮助研究人员解决这一问题。图像视觉注意力的研究对应静态和动态注意力两个层面分别建立有空域显著图预测模型和时域扫描路径预测模型,但现有空时注意力算法还未有关注人类对图像发生注意时的人类情感,而美学情感是一种与视觉注意力息息相关的情感。因此,本文提出了基于美感的空时视觉注意力预测算法,分别对显著图预测和扫描路径
乳腺癌是常见的恶性肿瘤之一,在女性群体中有逐年增长的趋势。乳腺病理学图像在显微镜下特定区域内的有丝分裂细胞个数是乳腺癌分级的重要指标。现阶段的有丝分裂计数主要靠人工进行,这一过程不仅耗时间,而且对操作人员有很高的的专业要求。因此基于计算机视觉技术实现有丝分裂自动检测具有重要意义。本文针对乳腺病理图像中有丝分裂检测问题开展研究,主要工作如下:针对传统有丝分裂检测识别方法直接对原始RGB图像处理,易于
目前虚拟现实技术发展迅速,其中立体全景视频作为虚拟现实呈现的重要载体,能够提供给观看者无与伦比的沉浸感。然而立体全景视频的制作需要经历拍摄、拼接、投影、编解码等多个步骤,在这些过程中立体全景视频往往会受到各种失真因素的影响。为了保证立体全景视频呈现的最终质量,对立体全景视频进行质量评价具有重要的理论和现实意义。为了开展相关研究,本文建立了立体全景视频质量评价数据库。在考虑了立体全景视频的制作与播放
随着互联网技术与移动通信技术的快速发展,空前发达的信息化时代在丰富与方便了人们生活的同时,也带来了信息过载的问题。推荐系统,作为解决信息过载问题的有效方法,能够帮助用户进行信息过滤,并提供精确且有针对性的推荐服务,现已经被广泛的应用到电子商务、社交、影音娱乐等领域中。近些年有关网络表示学习技术的研究取得了突出成果,其对网络结构信息的表示能力为推荐算法的研究提供了新思路。本文以网络表示学习与推荐算法
基于深度学习的3D模型检索往往受限制于有限规模的已标注模型数据,因此现有算法泛化能力有限。域自适应算法可以在有标注域上学习域间共有的知识和模式,从而将其应用于无标注域数据,因此可以有效解决此类问题。本文通过将域自适应算法引入3D模型检索任务,提出了一种基于反向传播的域自适应3D模型检索算法,并基于该算法构建了一个高效的3D模型检索演示系统。通过对比实验,验证了算法的有效性和优越性。首先,通过将基于