论文部分内容阅读
基于深度学习的图像超分辨率研究大多数将注意力集中在超分辨率网络模型的设计上,这类模型假设低分辨率(Low Resolution,LR)图像是高分辨率(High Resolution,HR)图像经双三次插值降采样得到的,虽然在以同样方式人工生成的验证集上峰值信噪比在不断被提高,但是由于真实的LR图像的退化方式多种多样,不符合模型的假设,因此模型的效果会大幅度下降。SRMD(Super-Resolution Network for Multiple Degradations)提出了通过对模糊核和噪声建模来解决多种退化问题的超分辨率模型。缺点在于当图像模糊核未知时,网络只得采用网格搜索策略,寻找一个合适的高斯模糊核来处理该图像,所以很难应用于实际场景中。可见一个高效的模糊核估计方法可以帮助超分辨率模型更好的应用在真实退化的图像场景中。为此,本文提出了基于频谱图的模糊核估计模型,利用卷积神经网络从退化图像的频谱图上学习其自身的模糊核信息。也就是通过对图像退化的关键因素-模糊核进行建模,构建一个可以直接从退化图像本身预测其模糊核的网络模型。通过该模型预测的模糊核可以直接用在现有的超分辨率模型,使其更好地应用在实际场景中。另一方面,由于真实退化的LR图像缺少对应的HR图像,无法直接对其进行训练。所以可以利用所提的模糊核估计模型提取LR数据集中不同退化方式的模糊核信息,用提取的模糊核对HR数据集进行模糊操作,生成符合真实世界退化方式的配对数据集,再进一步来训练超分辨率网络。基于非监督方法的模糊核估计模型kernel GAN(Kernel Estimation using an Internal-GAN)能够利用特定图像的GAN(Generative Adversarial Nets)网络预测LR图像的模糊核,但是存在网络不能稳定收敛的问题。本文在kernel GAN的基础上借鉴了High-to-Low GAN和DSGAN(Down Sample GAN)的思想,提出了一种在高清图像的辅助下,针对特定图像的GAN网络模型,来模拟特定LR图像的退化方式。引入了频率分离机制,通过在鉴别器加入高通滤波器,使鉴别器更容易聚焦于高频图像特征。有效加快了网络训练过程。在DIV2KRK(DIVerse 2K Resolution Image Dataset with Random Kernel)测试集上对比了各种模糊核估计方法的输出结果,直观上我们提出的模糊核估计模型的准确率要明显高于现有的其他方法。为进一步验证模糊核估计的有效性,我们将模糊核估计应用在现有的超分辨率模型中,对比了不同超分辨率方法在人工合成数据集和真实退化图像上的结果,我们的模型在客观评价指标PSNR(Peak Signal-to-Noise Ratio)和SSIM(Structural Similarity Index)上都取得了有竞争力的结果。