论文部分内容阅读
数字图像修复技术是一种利用算法实现缺损图像修复的技术。自2000年提出以来,数字图像修复技术备受关注,很多优秀的算法广泛应用于文物和艺术品保护修复、影视剧制作、医学成像、公安刑侦系统、遥感图像处理等领域。目前,对于小面积缺损、划痕和文字遮挡等修复问题,现有的图像修复算法较为成熟,但缺损面积大、语义信息缺失、纹理和结构信息复杂的修复问题仍然是有待攻克的难题。近年来随着机器学习研究的进步,特别是生成对抗网络的出现,为解决此难题提供了很好的技术手段。本文对基于生成对抗网络的图像修复技术中的几个关键问题开展研究,主要工作有以下三个方面:(1)针对生成对抗网络中在网络训练中可能出现的梯度消失问题,提出了一种基于最小二乘深度卷积生成对抗网络的图像修复算法。首先,本算法将最小二乘损失函数引入深度卷积生成对抗网络,用于替换Sigmoid交叉熵损失函数,很大的程度上缓解了网络训练中的梯度消失问题。其次,本算法还提出了一种新的修复对抗损失,即以修复图像为输入的判别网络损失,并与上下文损失和生成对抗损失结合,共同优化生成网络的输入编码,提高了图像修复质量。通过对比实验验证了本算法的有效性和优越性。(2)针对背景相对复杂、训练样本少的数据集会导致修复效果差的问题,提出了一种基于密集卷积生成对抗网络的图像修复算法。本算法将DenseNet和GAN进行结合,采用DenseNet的密集卷积块构建自编码的生成网络,通过特征重用更好的提取图像特征。同时,为了解决网络层间信息传递的丢失问题,在生成网络的编码-解码结构中引入了跳跃连接。并在训练网络时联合重建损失、对抗损失和TV损失对生成网络进行优化。实现结果表明,本算法不仅避免了训练网络陷入局部最优,而且提高了修复图像的质量。(3)针对随机区域缺损图像修复相似度低的问题,提出了一种改进的双判别网络的图像修复算法。本算法包含三个网络:生成网络、全局判别网络和局部判别网络。利用局部和全局两个判别网络共同优化生成网络中的参数,提高修复区域在整体图像中的视觉连贯性。本算法中,改进了全卷积生成网络的平滑层,创新性地在密集卷积块中使用空洞卷积,增加了特征信息的有效传递,从而提高了局部修复效果。并且,在网络训练过程中,本算法提出先利用重建损失对生成网络进行预训练,使其具有一定的修复能力,再利用联合损失训练生成网络和两个判别网络,从而减少了网络训练时间。实验表明该算法能够更好地提取语义信息,提高修复图像的相似度。