论文部分内容阅读
低质量图像中通常包含一定有价值的内容,但由于拍摄环境的局限性,图像的视觉效果较差,阻碍了对图像内容的理解,同时也抑制了图像处理和计算机视觉相关技术的应用。本文在前人研究的基础上,重点探索了低光图像的图像增强问题。考虑到现有部分拍照设备特别是监控设备带有红外模式且近红外图像不受低光环境影响的特点,本研究中引入红外信息并分两阶段构建深度神经网络模型修复低光图像。本文的主要内容包括:首先,梳理现有的相关研究,包括传统的和基于深度学习的低光图像增强,并随后介绍本文所涉及的基础知识和相关理论。其次,针对极度低光情况下,拍摄的图像存在部分缺失问题,提出一种融合红外信息的全卷积深度低光图像增强模型。该模型采用基于多尺度特征的编码解码器网络端到端建模低光图像到正常亮度图像的映射关系,并融合近红外图像中包含的场景结构性内容指导增强低光图像。通过在训练时约束生成图像与目标图像的像素级内容差异、结构性的深度特征差异以及解码端的辅助红外信息损失,提升了低光图像增强的效果,验证了利用红外信息实现图像亮度增强的有效性。最后,针对前一阶段全卷积网络输出可能存在局部区域颜色失真等问题,提出一种基于红外特征关注度的深度对抗低光图像增强模型。该模型包括生成模型和判别模型两个子网络:前者采用上下文编码的方法,基于区域特征相关性,构建情景关注网络,优化局部区域并生成新的修复图像;后者则通过判定生成图像的真实性确认低光图像增强的结果。考虑到优化过程中生成图像的不稳定性,情景关注层基于红外图像的特征评估局部区域之间的结构相关性,提高了生成网络的可靠性,本文通过在给定数据集上的大量实验验证了两阶段模型的有效性。