论文部分内容阅读
从低层次的图像处理技术到高层次的推理任务,图像清晰化问题涉及的研究领域非常广泛。在灾害预警、自动驾驶、场景理解等视觉任务中均会涉及到各种反映天气类型的因素如雨、雪、雾、阴影等,这些因素不但会导致图像质量下降,而且还会造成视觉目标形变、模糊甚至不可见等问题。若视觉系统不能将上述因素进行去除,就会影响识别、跟踪、理解、预警等任务的效果,甚至导致相关视觉任务失败。图像清晰化已成为视觉信息处理领域亟待解决的问题。鉴于此,本文旨在研究去除不同天气条件影响户外图像清晰度的因素以及提升图像视觉效果的理论和方法。具体开展研究工作如下:首先,针对已有天气分类方法仅能对固定场景进行分类的局限,以研究不同天气影响户外图像清晰度以及视觉效果的因素为出发点,探究面向户外图像的天气分类方法。基于图形学理论,分析各因素的成像特点,设计多分支多旁路特征提取方法。针对各因素在图像中的分布特性以及内在联系,制定基于注意力机制的特征加权方案,为所提取的特征分配权重。结合各因素在户外图像中对应的语义信息,设计特征增强方法提升所提取特征的表达能力。融合所设计的多分支多旁路特征提取方法、基于注意力机制的特征加权方案以及特征增强方法,构造天气分类模型实现对户外图像中天气类型的区分,为图像清晰化方法的研究提供理论支撑。其次,为了去除反映晴天的因素即阴影对于户外图像视觉效果的影响,并针对已有去阴影方法无法对阴影边界进行有效处理的问题,设计手工特征与神经网络学习特征相结合的阴影去除方法。分析阴影的成像原理,基于知识迁移以及端到端思想,构建卷积神经网络提取与阴影相关的神经网络学习特征,获取有阴影图像和去阴影图像之间的映射关系。研究阴影边界像素点与非阴影边界像素点的成像特点,设计并定义亮度-梯度差特征作为去阴影问题的手工特征。针对户外图像阴影去除问题的本质,融合所设计的亮度-梯度差特征与神经网络学习特征并构造损失函数,优化所建立有阴影图像和去阴影图像之间的映射关系,提升户外图像阴影去除方法的有效性。再次,以解决已有户外图像去雨雪方法存在的普适性以及清晰化效果有待提升等问题为出发点,研究面向户外图像的去雨雪方法。基于光学成像原理,分析雨和雪在户外图像中的分布特性以及光学属性,基于编码解码原理构造可去除户外图像中雨雪的模型。基于深度学习思想构造损失函数,结合训练样本优化所构造的去雨雪模型,实现对户外图像中雨雪的去除。基于低通滤波以及均值滤波思想,设计图像增强方案实现对真实图像中雨雪的进一步去除,优化面向真实图像的去雨雪效果。然后,针对已有户外图像去雾方法存在的方法普适性不足以及去雾后图像视觉效果不佳等问题,研究基于生成对抗思想面向户外图像的去雾方法。根据大气散射模型,分析雾在户外图像中的成像原理,基于生成对抗思想设计获取有雾图像与无雾图像之间映射关系的思路。根据图形学理论并融合结构化相似度思想,构造损失函数,优化有雾图像和无雾图像之间的映射关系。根据图像增强思想,设计自适应对比度增强方案,优化去雾图像的视觉效果。最后,为突破已有图像清晰化方法仅能针对单一因素进行处理的现状,设计融合深度学习和图像分解的可去除多种因素的图像清晰化方法。根据光学散射理论,分析雨、雪、雾之间的内在联系以及外在区别,设计全局大气光值以及透射图的计算方法。融合深度学习思想,构造计算雨雪层的模型,融合所设计的全局大气光值以及透射图的计算方法实现对户外图像中雨、雪、雾的有效处理。基于阴影成像原理,建立RGB各通道之间的对应关系,结合图像正交分解思想求解所建立的通道对应关系,利用高斯混合模型获取阴影区域,基于均值滤波思想去除图像中的阴影,从而完成对户外图像中雨、雪、雾、阴影的处理。