基于生成对抗网络的图像复原算法研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:lly6739
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像复原技术随着数字技术的发展,已被广泛应用于多个领域,是图像处理领域中一个重要的研究方向。传统图像复原方法如逆滤波法、维纳滤波法、最小二乘法等难以解决函数逼近问题,难以应用于复杂场景。本文主要使用生成对抗网络实现图像超分辨率重建和图像修复两方面的复原任务。图像超分辨率重建在预处理时会出现丢失部分图像重要的高频细节,重建图像过于光滑以及网络模型训练不稳定等问题。图像修复过程中存在受伪像影响、修复结果一致性不足、修复时间过长等问题。通过对上述问题的研究和实验分析,本文提出的改进的单帧图像超分辨率重建方法和改进的基于多尺度特征融合的渐进式语义图像修复方法在一定程度上提高了图像复原的质量和效率,主要工作内容如下:(1)改进基于拉普拉斯金字塔的图像生成方法,采用基于条件的生成对抗网络,在生成网络和判别网络中加入训练数据集标签作为输入条件,对生成器和判别器训练进行边界约束,在判别网络中使用谱范数正则化,达到了网络生成图像更加清晰、训练过程稳定且网络较快收敛的效果,为后续进行图像超分辨及图像修复的图像复原研究打好理论和实验基础。(2)提出单帧图像的耦合生成式对抗超分辨率重建方法,将耦合生成对抗网络经调整改进后应用于图像超分辨率重建任务;生成网络中引入自注意力增强卷积,兼顾图像中每个位置及其远端的细节;对生成器和判别器的学习能力作出平衡,在图像的多样性和生成质量间做出平衡;使用相对判别损失函数作为来自对抗神经网络的目标函数,使得网络结构更加稳定。实验证明了本文提出的方法在图像超分辨率重建方面的有效性。(3)提出基于多尺度特征融合的渐进式语义图像修复方法,通过课程学习的方式分步完成图像修复任务;生成网络改进编码-解码网络结构,融合不同尺度的图像特征,使用上下文注意力机制;判别网络中使用全局和局部双判别器,保证修复图像的真实性和完整性,实现图像语义修复。实验结果表明该方法具有较好的修复结果。
其他文献
冰雹灾害每年都会给人民以及国家带来巨大的经济损失,所以准确的识别冰雹灾害对人民财产以及国家设施的保护起着重要的作用。目前,研究学者大多通过对冰雹云的多普勒雷达回波进行分析,从而实现冰雹灾害的预警与识别,但是识别结果还会存在一定的误差。本文提出从图像的角度出发,对降落的冰雹进行检测,将图像处理技术作为雷达检测的后验方法,进一步提高雷达预测识别的精准性。本文对图像检测算法中存在的热点、难点进行了重点的
目标跟踪是计算机视觉领域里的一个研究热点,并广泛应用于视频监控、交通、人机交互等生活领域中。近年来,跟踪算法的性能不断提升,但是在面临复杂场景时,设计一个高鲁棒性的跟踪模型仍然是个难题。针对传统跟踪算法存在的不足,本文在相关滤波框架的基础上进行了以下一些研究:针对传统相关滤波跟踪方法的空间正则化权重与目标内容无关和跟踪过程中模型发生退化等问题,提出一种基于时间感知和自适应空间正则化的目标跟踪算法。
随着社会电子产品需求量的剧增,对于PCB焊接流程工艺的要求不断提高,但是PCB焊接流程中的定位支撑工作仍然需要人工完成,这样既增加了人工成本,又提高了人为误差风险,针对此问题本文提出了基于机器视觉的PCB板定位支撑系统的课题,致力于用机械取代人工。首先,本文介绍了选题的意义及目的,阐述了机器视觉的国内外发展现状。针对PCB板的识别定位系统设计问题,设计了总体系统的软硬件。其次,为了解决系统中视觉标
人脸年龄合成是研究某个人过去和未来相貌的一门技术,这项技术在现实生活中有很广泛的应用,例如寻找失踪人口,影视娱乐,公益项目宣传等。但众所周知,人脸图片中包含很多重要信息,如:性别、表情、身份、年龄等,如何获取这些信息以及如何保留更多的有效个人面部信息,使生成的图片更像本人值得深入研究。此外,由于数据稀缺,人脸年龄合成领域的研究始终面临巨大的挑战,如何解决数据稀缺的问题也值得深入探讨。针对上述问题,
协同目标分割是一种对多张相关图片中的共同类别物体进行分割的技术,其着眼于多张图片中的共性特征,挖掘同类别图像间的共同模式,在计算机视觉领域有着广泛的应用场景。传统方法大多根据图像的明暗、色彩或者手工设计的边缘特征对不同的区域聚类,受制于有限的特征表示能力,在图像模糊、不均匀光照等复杂场景下难以实现正确分割。近年来深度学习的兴起,基于卷积神经网络的算法凭借海量数据和强大的特征表示能力,在性能上大幅领
上世纪60年代兴起的气象卫星是气象探测研究和业务中的重要突破,其提供的连续的高时空分辨率云图数据是以往常规探测技术无法比拟的。卫星云图可以作为日常天气分析和预报辅助工具,对于卫星云图的解译和使用,是天气预报工作不可分割的组成部分。当前气象卫星云图研究和应用中目视判读仍是主要手段之一,主观因素导致无法完全提取和最大化利用卫星云图中的有效信息,并且妨碍了定量化和自动化预报的发展。随着国产气象卫星技术的
随着大数据时代的到来,图像、视频等大量高维数据在获取、存储的过程中,不可避免地出现获取的数据是残缺不全的、含有大量噪声等现象,这会使数据的分析受到极大的影响,如何将残缺的数据补全或者从噪声中恢复干净的数据成为了数据处理的重要问题。近年来,低秩模型引起了学术界的广泛关注。由于图像、视频等高维数据的内部结构、前后帧之间往往有较强的相关性,可以在低维空间对其进行表示,因此基于低秩学习的张量补全和恢复的模
腺癌是一种常发生于上皮腺体组织的癌症类型,在结直肠癌、前列腺癌、乳腺癌、肺癌等多种恶性肿瘤中都十分常见。在病理形态上,腺癌的发生往往伴随着腺体结构分化变差甚至不分化,即腺体组织呈现出异常变形扭曲、内部空腔结构被细胞核侵占致其缩小甚至消失。这种不同程度的腺体分化直接与腺癌的恶性程度相关联。因此,在临床病理诊断中,腺体组织结构的分化程度是病理学家确定腺癌等级乃至决策治疗方案的决定性因素。为了实现腺癌恶
2D人体姿态估计的研究目标是准确检测并定位图片中人体的所有关键点,例如,膝盖,脚踝等,是当前计算机视觉领域的一个研究热点。近年来,尽管基于深度学习的人体姿态估计模型取得了较大进展,但大多数工作均聚焦于人体关键点的检测,忽视了肢体之间的关联。鉴于人体物理结构的整体性质,本文从关键点的相关性来建模学习人体姿态估计特征,主要研究工作如下:(1)提出基于期望最大化的人体姿态估计网络(Expectation
乳腺癌是女性发病率和死亡率最高的恶性肿瘤,新辅助化疗是治疗乳腺癌的有效手段,有利于缩小肿瘤、降低肿瘤分期,将无法手术的肿瘤转化成可手术的肿瘤,提高患者无病生存率。临床医生根据自身经验以及患者的分子分型预估患者是否需要进行新辅助化疗,主观性较强且无法针对单一患者准确预测其化疗后的病理缓解程度,易导致化疗无效后患者错过最佳治疗时机。因此,本文旨在利用计算机图像处理技术对乳腺癌患者新辅助化疗前的全景穿刺