基于深度学习的端到端水下图像恢复

来源 :厦门大学 | 被引量 : 0次 | 上传用户:mqkxxmvo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,水下图像和视频在海洋军事、海洋工程、海洋研究等领域扮演着越来越重要的角色,从深海中获得高质量的图像对这些领域来说就显得尤为重要。但是较差的水下成像环境以及光照条件使得在水下拍摄的图像常常具有颜色失真、纹理模糊和对比度低等质量退化问题,本文针对这一课题进行了广泛的文献调研,了解到目前水下图像恢复的方法主要分为传统方法和基于生成式对抗网络的深度学习方法,其中,传统方法受假设条件和先验知识局限,模型不准确且颜色修正效果不理想,现有的基于生成式对抗网络的方法可以在一定程度上校正水下图像的颜色,但是它们使用生成式对抗网络生成数据集,忽略了水下成像的光学属性,鲁棒性不强,并且图像复原的效果不理想。本文针对以上问题展开研究,研究内容和主要贡献包括以下几点。第一,针对成对的清晰水下图像和退化水下图像数据集难以获取的问题,提出了基于水下成像的光学原理的退化水下图像的模拟方法。本文根据水下成像的物理学原理,即光在水下传播会呈指数发生衰减,并且不同颜色的光的衰减程度不同,构造了生成退化水下图像的模拟器,并使用该模拟器对每一张清晰的水下图像生成17种不同的退化水下图像,最终构成多组成对的清晰和退化的水下图像数据集,用于后续的深度学习网络的训练和模型评估。第二,针对现有的基于生成式对抗网络的水下图像恢复方法不能很好地处理退化水下图像的问题,提出了新的基于对抗学习的用于水下图像恢复的深度学习网络框架。首先,原始生成式对抗网络存在梯度消失和模式崩溃等问题,因此本文引入带有梯度惩罚项的WGAN来指导生成器和判别器进行训练。其次,由于原始的生成式对抗网络无法定向生成数据,我们使用带有条件约束的生成式对抗网络以使得生成器能够生成与输入的退化水下图像内容相一致的清晰水下图像。此外,我们在生成器中加入感知损失以进一步约束生成图像的细节和语义信息。在判别器中,我们使用一个全卷积的基于块的判别器去学习结构上的损失,而不是学习整个图像级或像素级的损失。最后,将所提出的方法应用于水下图像恢复的任务中,实验结果证明该方法在视觉和量化指标上都有比现有其他方法更好的结果。第三,由于目前水下图像恢复方法对水下图像的处理效果不理想,提出了基于尺度迭代网络和残差连接的用于水下图像恢复的网络框架。我们设计了一个基于残差块的编解码网络作为基础网络,它包括一些对称的卷积和反卷积层,来学习退化水下图像到清晰图像的端到端映射。为了加强网络的训练能力,我们在编解码网络的卷积和反卷积层的对称部分加入残差式的跳层连接,以使网络训练得更稳定,并且获得更好的结果。其次,为了进一步提高网络的精确性,我们提出了多尺度迭代的网络训练方式,由粗到细地恢复图像的内容和细节信息,并且粗粒度和细粒度下的图像恢复网络的参数相同,这相当于在不增加网络参数的情况下加深了网络的深度。此外,我们设计了多尺度损失函数来训练该网络。实验表明,提出的该方法可以有效强化网络的训练,使得网络的参数更优,退化水下图像的恢复效果在视觉和量化指标上也更好,并且优于现有方法。
其他文献
卫星通信是作为空间通信中信息处理、转发、存储的主要方式,在通信、导航、遥感、太空研究、星际探索等领域具有特殊的功能及地位,是我国目前急需研究及发展的重大战略性工程
首先根据用户关注的内容确定高校图书馆网站评价的指标体系,然后根据专家的意见用AHP方法给出评价指标的权重。根据用户的问卷调查得到评价矩阵,用TOPSIS方法给出标准意义下
信息化对于促进新旧动能转换、加快创新型国家建设具有非常重要的意义。本文从异质性和非线性视角,利用中国2003-2016年省际面板数据,使用面板固定效应模型和门槛模型,分析信
在2016年中央一号文件中,中央提出要加快农村金融体系建设,为激发农村金融活动、促进农村经济发展夯实基础。广东农村金融规模在全国的发展水平靠前,农村经济总体上较好,在全
随着2022年冬奥会的日益临近,各冰雪运动项目呈现出百花齐放的态势。尤其是在竞技体育领域,相关部门对其运动成绩十分重视。众所周知,运动项目竞技成绩的好坏与其运动员队伍的实际情况有着直接的关系。目前我国的单板滑雪U型场地技巧项目虽然开展时间相对较短,但因其项目特点,也取得了不错的成绩。为保证在2022年冬奥会能够主场取得好成绩,就需要提前对运动员和教练员现状进行整体调查,紧抓改革措施的落实。因此,本