论文部分内容阅读
图像超分辨重建是计算机视觉研究一个重要的方向,在现实生活中可以应用在许多领域。在实际工作或者日常生活中因为设备成本、技术限制、网络限制等因素常常不能得到足够清晰的图像。如果单纯的依靠提升硬件设备不仅成本耗费非常大,而且有些情况下会难以实施,比如人体医学成像中会受到人体组织的干扰。因此,对图像的超分辨处理在某些时候就显得尤为重要。图像超分辨重建的技术已经应用在很多领域,如医学成像、遥感成像及监控视频等方面。基于传统方法的超分辨技术得到的图像细节信息不够完善,在视觉效果上也比较让人难以接受。近几年来,基于深度学习的超分辨重建技术在对图像的处理上有着很好的成效,但是依然存在着一些问题,比如重建后纹理部分的噪声问题依然存在。在此基础上,本文将对深度学习中的基于生成式对抗网络的超分辨技术进行研究,围绕这一主要的框架模型,本文的主要工作如下:
(1)分析现有的卷积神经网络和生成式对抗网络的模型和训练方法,神经网络在图像处理方面的优势以及仍存在的问题。例如在提取图像特征时对于所有的特征映射都是统一的,图像的信息比较混杂,这样可能会造成重建后的图像在某些区域产生一定的偏差或者噪声。针对这一现象利用目前提出的比较新颖的方法进行研究,比如在原有结构中引入倍频程卷积(Octave Convolution)代替原有的卷积层来进行卷积操作,将图像中高低频率的信息分开处理,优化网络对细节、纹理的处理方法。
(2)改进特征提取网络和感知损失。在原本的单个预训练的VGG19模型上加入针对当前数据集的特征提取网络,使得原本的特征提取更具有针对性,同时提高泛化性能。
(3)研究新的激活函数和优化算法。原本的超分辨模型所使用的基本上是传统的激活函数和优化算法,比如ReLU家族。最近几年来,研究者们一直对此进行着不懈的研究改进,在此基础上,本文测试性地研究了深度学习领域新提出的几种激活函数和优化算法,比如Swish和Mish激活函数,Ranger和Novograd优化算法等,进行对照组实验,对比它们的效果。
(4)将本文实践可行的改进想法用于图像超分辨重建实验,对比原有的模型的效果来验证改进后的模型的有效性。在通用测试集Set5和Set14上进行实验得出结果对比,使用客观性的指标PSNR和SSIM进行评价,展示图像重建的视觉效果,实验的结论能够验证改进的生成式对抗网络可以很好的处理图像超分辨重建的问题。
(1)分析现有的卷积神经网络和生成式对抗网络的模型和训练方法,神经网络在图像处理方面的优势以及仍存在的问题。例如在提取图像特征时对于所有的特征映射都是统一的,图像的信息比较混杂,这样可能会造成重建后的图像在某些区域产生一定的偏差或者噪声。针对这一现象利用目前提出的比较新颖的方法进行研究,比如在原有结构中引入倍频程卷积(Octave Convolution)代替原有的卷积层来进行卷积操作,将图像中高低频率的信息分开处理,优化网络对细节、纹理的处理方法。
(2)改进特征提取网络和感知损失。在原本的单个预训练的VGG19模型上加入针对当前数据集的特征提取网络,使得原本的特征提取更具有针对性,同时提高泛化性能。
(3)研究新的激活函数和优化算法。原本的超分辨模型所使用的基本上是传统的激活函数和优化算法,比如ReLU家族。最近几年来,研究者们一直对此进行着不懈的研究改进,在此基础上,本文测试性地研究了深度学习领域新提出的几种激活函数和优化算法,比如Swish和Mish激活函数,Ranger和Novograd优化算法等,进行对照组实验,对比它们的效果。
(4)将本文实践可行的改进想法用于图像超分辨重建实验,对比原有的模型的效果来验证改进后的模型的有效性。在通用测试集Set5和Set14上进行实验得出结果对比,使用客观性的指标PSNR和SSIM进行评价,展示图像重建的视觉效果,实验的结论能够验证改进的生成式对抗网络可以很好的处理图像超分辨重建的问题。