论文部分内容阅读
近年来,水下图像和视频在海洋军事、海洋工程、海洋研究等领域扮演着越来越重要的角色,从深海中获得高质量的图像对这些领域来说就显得尤为重要。但是较差的水下成像环境以及光照条件使得在水下拍摄的图像常常具有颜色失真、纹理模糊和对比度低等质量退化问题,本文针对这一课题进行了广泛的文献调研,了解到目前水下图像恢复的方法主要分为传统方法和基于生成式对抗网络的深度学习方法,其中,传统方法受假设条件和先验知识局限,模型不准确且颜色修正效果不理想,现有的基于生成式对抗网络的方法可以在一定程度上校正水下图像的颜色,但是它们使用生成式对抗网络生成数据集,忽略了水下成像的光学属性,鲁棒性不强,并且图像复原的效果不理想。本文针对以上问题展开研究,研究内容和主要贡献包括以下几点。第一,针对成对的清晰水下图像和退化水下图像数据集难以获取的问题,提出了基于水下成像的光学原理的退化水下图像的模拟方法。本文根据水下成像的物理学原理,即光在水下传播会呈指数发生衰减,并且不同颜色的光的衰减程度不同,构造了生成退化水下图像的模拟器,并使用该模拟器对每一张清晰的水下图像生成17种不同的退化水下图像,最终构成多组成对的清晰和退化的水下图像数据集,用于后续的深度学习网络的训练和模型评估。第二,针对现有的基于生成式对抗网络的水下图像恢复方法不能很好地处理退化水下图像的问题,提出了新的基于对抗学习的用于水下图像恢复的深度学习网络框架。首先,原始生成式对抗网络存在梯度消失和模式崩溃等问题,因此本文引入带有梯度惩罚项的WGAN来指导生成器和判别器进行训练。其次,由于原始的生成式对抗网络无法定向生成数据,我们使用带有条件约束的生成式对抗网络以使得生成器能够生成与输入的退化水下图像内容相一致的清晰水下图像。此外,我们在生成器中加入感知损失以进一步约束生成图像的细节和语义信息。在判别器中,我们使用一个全卷积的基于块的判别器去学习结构上的损失,而不是学习整个图像级或像素级的损失。最后,将所提出的方法应用于水下图像恢复的任务中,实验结果证明该方法在视觉和量化指标上都有比现有其他方法更好的结果。第三,由于目前水下图像恢复方法对水下图像的处理效果不理想,提出了基于尺度迭代网络和残差连接的用于水下图像恢复的网络框架。我们设计了一个基于残差块的编解码网络作为基础网络,它包括一些对称的卷积和反卷积层,来学习退化水下图像到清晰图像的端到端映射。为了加强网络的训练能力,我们在编解码网络的卷积和反卷积层的对称部分加入残差式的跳层连接,以使网络训练得更稳定,并且获得更好的结果。其次,为了进一步提高网络的精确性,我们提出了多尺度迭代的网络训练方式,由粗到细地恢复图像的内容和细节信息,并且粗粒度和细粒度下的图像恢复网络的参数相同,这相当于在不增加网络参数的情况下加深了网络的深度。此外,我们设计了多尺度损失函数来训练该网络。实验表明,提出的该方法可以有效强化网络的训练,使得网络的参数更优,退化水下图像的恢复效果在视觉和量化指标上也更好,并且优于现有方法。