论文部分内容阅读
数字图像修复是指利用破损图像缺失区域的邻域信息,遵循一定的规则复原出缺失区域,使得人眼看不出明显的修复痕迹。传统的图像修复算法由于修复策略缺陷和模型表征能力的限制,在一些复杂情况下无法取得令人满意的修复结果。深度学习以其强大的特征学习和提取能力,在图像修复领域特别是图像语义修复上取得了耀眼的成绩。然而,现阶段的基于深度学习的图像修复算法在很多方面仍然值得改进和完善,如训练不稳定、准确性不足等。本文致力于研究深度学习在图像修复中的应用。针对现存图像修复算法的缺陷和存在的问题,提出了两种基于深度学习的图像修复算法。具体研究内容如下:(1)针对传统图像修复算法修复策略的缺陷和模型表征能力的不足,提出了基于深度自编码器的图像修复算法。在算法中训练了一个多任务深度自编码器,能够同时完成图像特征的提取和缺失像素的预测。考虑到自然图像具有局部相关性和非局部自相似性,算法使用局部信息对缺失像素进行预测,使用非局部信息对预测进行矫正,提高修复的准确性。此外,为了改善误差传播问题,提出了一种基于支撑域和预测值的联合置信度的自适应修复顺序。(2)针对现有的面向语义信息丢失的图像修复算法中存在的缺陷,提出了基于生成对抗网络的渐进式图像修复算法,将整个缺失区域的修复划分为多个子阶段,在每个阶段只专注于修复缺失区域的一部分,通过长短期记忆网络(LSTM)将不同子阶段连接起来,使得网络的训练过程更加稳定且图像修复得更加精细。每个子阶段使用的网络均由生成网络和判别网络两部分组成,其中生成网络采用“编码器-解码器”的网络结构,在编码器和解码器的部分层之间添加“短接”,改善在下采样过程中的信息丢失问题,增强网络的生成能力并减小梯度弥散的风险。此外,采用两个判别网络:全局判别网络和局部判别网络,提高缺失区域的修复效果。实验结果表明,和同类算法相比,本文提出的两个算法在主观评价指标和客观评价指标下都获得了较好的修复效果。