基于深度学习的图像去反光算法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:xingnaizheng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在摄影时,当我们透过玻璃拍摄玻璃后面的物体,得到的照片中往往带有玻璃上反射物体的影像,严重影响了拍摄的图像质量。去反光任务则是从带反光的图像中分离出不带反光的背景图像,目前已经提出了关于去反光任务的一些方法,有传统方法和基于深度学习的方法,对于深度学习方法,通常需要大量的成对数据用于网络模型训练,但是获取大批量的成对真实反光数据集非常困难,因此目前普遍的做法是使用RGB图像采用线性模型合成训练数据。但是从反光成像及图像信号处理过程来看,这种合成方法与实际情况相去甚远,在此基础上训练的模型对于真实数据的泛化效果较差。而本文提出的方法基于RAW图像,通过分析反光成像过程并考虑图像信号处理过程的影响,提出了基于RAW图像的反光图像合成方法,并在之前工作的基础上,提出了基于上下文信息感知的单图像去反光网络模型,在目前5个基准测试集上取得了很好效果。本文的主要工作如下:1.拍摄了首个大批量RAW去反光数据集,总体拍摄RAW图像数量超过1700张。搭建了拍摄平台,并改进反射图像拍摄方法,拍摄了一套完备的RAW反光数据集,包括背景数据集、反射数据集、配对数据集、实验数据集,其中RAW反射图像数量超过700张,是目前最大规模的反射数据集;2.提出了一种新颖的基于RAW图像的反光图像合成方法。考虑反光成像原理及ISP过程影响,并基于曝光一致性原则提出曝光参数匹配的RAW图像反光合成方法,明显提高了合成反光图像质量;3.基于现有网络结构,提出了一种基于上下文信息感知的去反光网络模型,使用通道注意力机制的上下文编码模块,充分利用上下文信息,减少了图像分离时的歧义。并借助长短跳跃连接和多尺度特征模块,有效改善了网络模型的效果,输入单个反光图像,输出对应的去反光图像;4.针对整个深度网络的目标函数,采用多部分平衡损失函数,在传统的像素损失的基础上,使用感知损失、对抗损失等基于高层语义驱动网络模型训练;经过实验验证,在目前的5个真实数据基准测试集上,本文提出的方法可以有效改善去反光效果,取得领先的性能。本文的工作表明了RAW图像在去反光任务上的巨大价值,对于RAW图像应用于其他图像增强任务,诸如去雨、去雾等,有非常好的借鉴意义。
其他文献
多目标跟踪是计算机视觉中的一个重要研究方向,其在学术研究和实际应用中都有重大的意义。在安防系统、自动驾驶、人机交互等方面有很高的应用价值。现在最常用的多目标跟踪框架是基于检测的多跟踪,其主要是结合检测器提供的检测结果来设计一套有效的关联度量和关联算法,从而将这些检测结果匹配起来,完成多目标跟踪任务。本文主要针对多目标跟踪中的运动建模和外观建模两个方面展开研究,并且结合实际应用分析多目标跟踪中存在的
柔性可穿戴传感器凭借柔性、可形变的特性而备受关注,柔性器件可以广泛应用于人体健康监测、机器人智能传感、人机交互、医疗康复等诸多领域,具有很好的发展前景。基于传统集成电路的柔性器件制备工艺已经发展成熟,但是由于其较高的制备成本以及对材料的要求严格等问题,限制了该工艺在制备柔性器件领域的应用。目前已经发展了多种新型柔性器件制备工艺,如丝网印刷、掩模喷涂以及静电纺丝等工艺,具有制备流程简单、成本低以及易
视觉目标跟踪(Visual Target Tracking)是对图像序列中的运动目标进行检测、提取、识别和跟踪的一类技术,主要任务是为了获得运动目标的运动参数,从而实现对运动目标的行为理解,以完成更高一级的检测任务。目标跟踪算法在公共安防、工厂生产、交通管控等相关场景有着极为广泛的应用。对于视觉目标跟踪算法的研究在计算机视觉领域一直备受关注。尽管在像素域的相关算法研究已经取得了很大的进步,尤其在近
近年来,在大数据与高性能计算平台的支撑下,深度卷积神经网络因其对于图像数据的强大非线性拟合能力、高度特征抽象能力和自动特征表达能力而在各类计算机视觉任务中取得了卓越性能。然而其在性能提升的同时也产生了繁重的计算开销、巨大的内存消耗以及超量的存储占用,进而限制了其向资源受限终端的部署,以及在时间敏感的实际场景中的应用。基于此,本文聚焦于基于变分贝叶斯的网络剪枝技术,深入研究变分贝叶斯理论在卷积神经网
移动传感器网络(mobile sensor network,MSN)因其具有自组织性、可扩展性及灵活性的特点,常被应用于如战场监控、灾后搜救等空间监测任务中。传感器在空间中的覆盖情况直接反映了MSN所能提供的感知服务质量,合理的节点部署可以帮助节点更好地感知环境信息,完成监测任务。当监测区域内出现目标时,MSN不仅需要对目标进行持续的跟踪,还应继续对其他区域进行搜索,这对节点的协作和适应能力提出了
高分辨率的合成孔径雷达(SAR)图像在诸多领域均有重要的应用价值,然而,由于硬件性能限制、成像条件复杂等不利因素,并且受到本身固有的乘性相干斑噪声的影响,往往获得的SAR图像分辨率都会受到严重降低。而图像的超分辨率重建,不仅可以提高图像的分辨率,而且通过引入新的高频信息,如边缘、纹理等,同时在一定程度上降低噪声、杂波等,使得图像的整体质量得到提高。近年来基于深度学习的自然图像超分辨取得了巨大的成功
深度学习网络,因其具有强大的学习与表达能力,目前已被广泛运用在语音识别、自然语言处理等领域。其中网络结构是深度学习应用的基础。研究新型的网络结构是目前研究的主流,是突破现有网络局限性的关键,对于推动深度学习网络的发展具有重要意义。现有的深度学习网络模型,经历了一个以数据拟合为目标,由浅层到深层的发展过程,其发展目前面临以下瓶颈:首先,近年来在大多数任务中,深度学习网络性能提升极其有限。其次,训练好
近年来,科学技术的飞速发展,对加速度振动测量技术提出了更高的要求。传感器不仅需要能够耐受更高的温度,还需要有更高的电荷灵敏度。发展高温压电加速度传感器恰恰是能够满足这一要求的突破口。本论文基于旋转切型对压电加速度传感器进行优化设计,制备了高温压电加速度传感器。常温和高温特性测试表明,该传感器具有较大电荷灵敏度。本论文选择硅酸镓钽钙(CTGS)晶体作为传感器设计中的压电敏感材料,并采用剪切型结构设计
耐高温高压压力传感器在航空、石油以及汽车领域的应用越来越广泛,需求也越来越大,但我国对耐高温高压压力传感器的研究相对落后,国内市场的高端耐高温、高压压力传感器主要靠进口。世界各国对耐高温、耐高压的传感器的研究较为深入,但对可同时承受高温、高压的压力传感器的研究相对较少。且目前的压力传感器市场走势偏向于将器件微型化、小型化,最好可集成。所以研究可同时耐高温与高压的压力传感器,并实现传感器的微型化对于
随着多媒体时代的到来,视频数据大量地出现在人们的日常生活中。视频数据具有连续性强、数据量大的特点,因此视频压缩技术对于视频的储存与传输具有重要意义。近年来,深度学习在许多领域取得了突破性成果,也给出了视频压缩技术新的解决方案,基于深度学习的视频压缩成为了一个备受关注的全新领域。目前该领域的研究取得了一定的成果,但是视频的压缩性能仍然有可以提升的空间,值得继续研究。本文以基于深度学习的视频压缩为研究