论文部分内容阅读
图像超分辨率技术旨在从一幅或多幅低分辨率图像中重建出一幅高分辨率图像。由于它不仅能提高低分辨率图像的质量而且与基于硬件的方法相比成本更加低廉且灵活性更好,在医学图像处理、视频监控、卫星遥感影像和图像压缩等多个领域都有很高的应用价值。最近几年,基于卷积神经网络的方法在图像超分辨率这个问题上取得了巨大的成功,然而就架构的最优性而言这些网络存在一定的局限性。首先,现有的大多数超分辨率算法将不同尺度的超分辨率当作是独立的问题来看待,没有考虑和利用不同尺度之间的内在关系。其次,大多数基于卷积神经网络的图像超分辨率模型采用的是基于像素的损失函数(比如均方误差函数)来优化网络,虽然重建出的图像的峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)较高,但往往缺乏高频细节,感知质量并不理想。本文的主要研究工作如下:(1)提出了一种基于双路径网络(Dual Path Network,DPN)的单尺度图像超分辨率模型(Single-scale Image Super-Resolution Model Based on Dual Path Network,SISRM-DPN)。该模型直接将低分辨率图像作为输入,模型中部的高层特征提取模块采用的是双路径架构,用于在低分辨率空间提取特征,在网络的末端采用子像素卷积层来将低分辨率的特征图转化为高分辨率图像。在几个公开的基准数据集上的定量和定性的评估结果验证了本文提出的SISRM-DPN的有效性。(2)提出了一种基于DPN的多尺度图像超分辨率模型(Multi-scale Image Super-Resolution Model Based on Dual Path Network,MISRM-DPN)。在该模型中,每个尺度都有其对应的预处理模块和上采样模块,中间的高层特征提取模块是共享的。在训练的时候,对于每次更新,随机选中一个尺度来构造小批量训练样本,并只更新选中的尺度对应的预处理和上采样模块以及多个尺度共享的模块。定量和定性的评估结果表明提出的MISRM-DPN是有效的。(3)提出了一种基于生成式对抗网络的多尺度图像超分辨率模型(Multi-scale Image Super-Resolution Model Based on Generative Adversarial Network,MISRM-GAN)。该模型包含一个生成器和一个判别器,为了使得重建出来的图像具有更好的感知质量,在训练生成器的时候采用的是一个联合损失函数,该损失函数是VGG损失和对抗损失的加权和。实验结果验证了提出的MISRM-GAN的有效性。