下雨天粘附在摄像机镜头上的雨滴会严重影响采集到图像的质量,而将因雨滴退化的图像通过处理转换为干净的图像是一个很棘手的问题。问题的难点在于这些因雨滴退化的图像中雨滴的位置没有给出,并且被雨滴遮挡区域的背景信息几乎完全丢失。随着计算机软硬件以及深度学习的不断发展,卷积神经网络逐渐被应用到图像修复任务中。然而,当前关于去雨滴的研究却比较稀少。因此本文针对单幅图像雨滴去除的任务,应用卷积神经网络并通过合理的网络结构以及损失函数的设计,实现了良好的雨滴去除效果,具体方法如下:1、提出了一个由雨滴检测网络RAD-Net及X型神经网络组成的雨滴去除网络该网络是由X-Net和RAD-Net级联组成的端到端卷积神经网络。RAD-Net通过利用干净图像重建对应的雨滴退化图像的方式获得了雨滴的位置信息。X-Net利用“Long Skip Connections”和“Cross Branch Connections”并辅以从RAD-Net获取到的雨滴位置信息来生成具有足够多细节且颜色符合人眼观感的无雨滴图像。2、提出了一个基于注意力机制的多尺度融合神经网络用于图像去雨滴问题为了提高效率,我们设计了一个相对于上述方法更轻量化的卷积神经网络。首先,该网络分为两步:先提取雨滴位置再进行雨滴去除。在雨滴位置提取的阶段,我们对方法一中的RAD-Net进行改进,采用瓶颈模块替代RAD-Net中的残差块,从而减少大量参数。此外,我们将原始雨滴图像通过双线性插值缩放成不同大小作为第二阶段网络输入,并通过卷积层实现特征融合。在特殊设计的注意力模块加持下,卷积神经网络可以将注意力集中在雨滴区域。最后,我们利用合适的损失函数训练网络使得网络可以生成拥有足够边缘信息及出色视觉效果的无雨滴图像。