融合语义信息的图像超分辨率重构

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:zhyjrr
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能、深度学习技术的兴起,以及人脸图像具有独特的稳定性和可识别性,人脸图像的研究成为了计算机视觉研究的热点问题。在人脸图像的采集过程中,由于光学系统偏差等硬件条件限制和传输与存储过程中采用压缩或下采样技术造成损耗等影响,最终采集的往往是低分辨率、细节缺失的人脸图像。人体身份识别在日常生活中有着十分重要的意义,人脸图像是人体的重要信息载体,在人体身份识别中起着重要所用。人体识别的准确度取决于人脸图像的质量,人脸图像的质量越高识别的准确率也越高,因此如何提升人脸图像的质量成为日益重要的问题。人脸图像质量的提升主要可以从软件和硬件两方面进行,但是在应用过程中基于硬件提升图像质量会降低成像转换速度、增加成本,较为可行的方案是从软件方面提升人脸图像质量。现在较为常用的软件提升图像质量的方法是通过图像超分辨率重构技术重构生成高分辨率人脸图像。目前,许多超分辨率重构方法重构生成的人脸图像容易出现伪影和轮廓模糊的问题,在进行大倍率人脸图像超分辨率重构时,这些问题更加明显。近年来,随着深度学习的兴起,深度学习在图像处理领域占主导地位,基于深度学习的人脸图像超分辨率重构技术逐渐成为主流。本文对融合语义信息的人脸超分辨率重构技术进行研究,借助引入的参考图像对低分辨率人脸图像进行有效重构。人脸超分辨率重构方法中的参考图像特征提取网络提取参考图像的特征信息,保留其人脸神态和重点部位的细节特征信息,去除人脸轮廓和面部表情等冗余特征信息;超分辨率重构主网络基于提取的参考图像的特征信息,对低分辨率人脸图像特征进行填充,重构生成高分辨率的人脸图像。在数据集上的实验表明,本文方法能实现对低分辨率人脸图像的有效重构,具有良好的鲁棒性。本文的主要工作如下:1)提出针对人脸图像的超分辨率重构方法,引入与高清人脸图像不同角度、面部表情也有差异的同一个人的图像作为参考图像,提出端到端的融合人脸参考图像的超分辨率重构方法,借助参考图像的脸部细节信息辅助人脸的超分辨率重构,解决了现有的人脸超分辨率重构方法生成的人脸图像容易出现伪影和模糊的问题;2)设计并实现参考图像特征提取网络提取参考图像特征信息。在参考图像特征提取网络中,通过设计基于注意力机制的特征筛选模块,去除参考图像的部分冗余信息并保留参考图像的神态和人脸重点部位的细节信息,从而减少人脸重构图像的轮廓模糊;3)人脸参考图像具有丰富的脸部细节信息,也具有很多冗余的人脸轮廓和面部表情信息,为提取参考图像的有用信息,进一步设计基于多重注意力的特征筛选机制,分别从通道注意力和空间注意力两个角度对参考图像特征进行筛选,并给出基于多重注意力的人脸图像超分辨率重构方法,实现高效准确的人脸超分辨率重构;4)在上述工作的基础上,设计并实现了融合语义信息的人脸图像超分辨率重构系统。给出了系统的整体处理流程,并通过图形界面直观地将重构过程,重构果和对网络模型的评价展示出来。
其他文献
随着人们对沙尘暴研究的日益深入,沙尘暴中电场的存在逐渐得到广泛认可,并且作为新兴的研究领域,逐渐得到学者们的重视。目前对风沙电场的研究工作主要还局限于近地表附近。
二十二碳六烯酸(DHA)是一种重要的ω-3多不饱和脂肪酸,具有降血脂、增强视力、促进脑细胞发育等生理功效,广泛用于食品医药行业。海洋真菌裂殖壶菌(Schizochytrium sp.)是商
电子商务不断发展进程中,快递业务规模持续增长,并伴随着庞大的快递包装总耗量。考虑到目前国内尚且没有建立系统完善的快递包装回收体系,部分快递包装被作为生活垃圾予以处理,尤其是人员密集区域,“快递垃圾”污染问题更为严重。相应的,如果这些“快递垃圾”未能够得到合理处置,除了将会对资源及环境造成损害的同时,也将会对现有生产经营模式以及先进发展理念造成较大的冲击。所以,社会各界对如何做好快递包装回收予以了很
石油在开采和炼制过程中所产生的含油污泥会造成资源浪费和环境污染。采用双循环流化床油泥热解-残渣燃烧工艺不仅可以回收其中的油气资源,热解产生的固态残渣还可以作为燃料直接进入燃烧炉燃烧为固体热载体提供能量,加热后的固体热载体又可返回热解炉内继续热解油泥,从而降低了整个热解系统能耗,防止二次污染产生,实现含油污泥资源利用和深度处理。为此本论文开展了含油污泥循环流化床热解相关基础研究。首先,利用工业分析仪
本文选择位于金沙江上游的拉哇水电站左岸下游的Ⅶ号堆积体作为研究对象,其为该工程区域内最大的堆积体,总量约2720万m3;通过对该工程前期勘察资料的收集整理和分析,认为它的
相比于传统平行轴齿轮传动,行星齿轮传动具有传动比大、结构紧凑、功率密度高和工作平稳等优点,在有限的安装空间、大动力和高速等传动场合具有明显的优势,被广泛应用于航空、船舶、风电、冶金和矿山等多个领域。行星齿轮传动系统的振动噪声问题一直是各相关领域极为关注的热点,因此,建立准确的行星齿轮动力学模型,对于实现低噪声和高可靠性的齿轮传动装置具有重要的理论意义和工程价值。本文建立了斜齿轮副啮合刚度的接触分析
今天随着文化旅游的兴起,“非遗”文化博大精深,作为时代风貌的缩影,更是人们洞悉历史探究未来的宝藏,“非遗”与旅游业的融合发展增强了游客的文化体验,同时也为非遗“活”起来开辟了新路径。泽雅镇,因位于古耸寨下方,故名“寨下”,后温州话谐音改为泽雅。小镇毗邻温州市区,居西北角,相距18km。公元889年,唐镜清道怤禅师于此地创立极乐禅寺,泽雅古法造纸自宋末元初传入以来,历经元、明、清三代,至上世纪30年
土的力学强度是工程安全的重要影响因素,一直以来都受到土木工程领域研究人员的重视,如何提高土的力学强度则成为热衷的研究课题。加筋土技术为解决工程实践中各种技术难题提供了许多优良方案而被广泛应用。本文以麦秸秆、稻草及玄武岩纤维加筋材料为研究对象,采用无侧限抗压强度试验对比研究了不同材料加筋土的最优加筋方式、变形破坏特征及加筋机理,主要内容及成果如下:(1)麦秸秆、稻草及玄武岩纤维加筋土均存在最优配合比
本文以BW公司生产车间为研究对象。该公司生产车间于2015年建成并引入生产线开始量产,随着新产线的引入每年产能提升约50%。但是生产车间内空间有限,目前新引进的两条生产线
全球能源危机与环境污染的加剧使得人们对于清洁的新能源的需求越来越大,而能够利用杂散分布的能源进行发电的分布式发电技术有效的缓解了能源危机和环境污染的严峻局势。微