论文部分内容阅读
图像超分辨率重构旨在将单帧或多帧序列低分辨率图像转化为一帧富含细节表现力的高分辨率图像。该技术可以突破成像设备的硬件条件制约,仅仅依靠软件算法便能增强图像分辨率,在卫星遥感,视频监控,医学图像,影音娱乐等领域都有着广泛的应用。
近些年来,随着深度学习的发展,基于卷积神经网络的图像超分辨率算法引起了研究者们的广泛关注。由于卷积神经网络有着强大的特征提取能力及非线性映射能力,因此该类算法在图像超分辨率领域中取得了比较成功的重建结果。然而基于卷积神经网络的超分辨率算法往往会引入大量的参数,这使得模型变得庞大臃肿且难以迅速加载。而基于循环卷积神经网络的超分辨率算法在保证模型重建质量的基础上,可以在一定程度上减少模型的参数数量。该类网络模型通过设置循环卷积结构,复用卷积层参数来不断扩大模型感受野,从而增强网络模型的非线性映射能力。
本文将主要研究基于循环卷积神经网络的图像超分辨率重构算法,这是一种特殊的卷积神经网络。与常规卷积神经网络不同的是,该类网络模型通常利用循环卷积结构来达到减少参数的目的。然而循环卷积结构并不能有效的降低模型复杂度及计算量。本文从降低模型参数量和计算量出发,受谷歌的Inception系列网络的启发,提出了一种被称之为RNIN (Recursive Naive Inception Network) 的网络模型。我们的网络模型含有一种新的朴素单元结构,该单元结构通过循环单层卷积层,然后聚合所有循环卷积层的输出,最后得到一种稀疏的网络连接。与谷歌的Inception系列网络的单元结构相比较,我们的单元结构超参数少,且设置更加简单。为了更加充分的利用单元结构的非线性映射能力,本文在单元结构外又设置了外部循环来进一步拉深网络,从而获得更大的感受野。虽然循环卷积神经网络设置简单,但也带来了训练复杂及容易发散等问题。为了保证模型的稳定训练,最大程度上降低梯度弥散及梯度爆炸所带来的训练问题,本文引入了跳跃连接和循环监督两种方法。跳跃连接则是通过强制卷积网络学习高频残差,从而保证数值稳定;而循环监督则是对循环结构的中间预测结果进行监督,从而缩短梯度传播的路径。在本文模型的最后,我们采用了一种自学习的集成算法来加权中间预测结果的输出,从而进一步提升模型的重建性能。大量实验结果表明,本文算法在主观视觉和客观评价上,都优于目前的卷积网络的超分辨率算法,同时在参数量及计算量上也保持着相当的优势。
近些年来,随着深度学习的发展,基于卷积神经网络的图像超分辨率算法引起了研究者们的广泛关注。由于卷积神经网络有着强大的特征提取能力及非线性映射能力,因此该类算法在图像超分辨率领域中取得了比较成功的重建结果。然而基于卷积神经网络的超分辨率算法往往会引入大量的参数,这使得模型变得庞大臃肿且难以迅速加载。而基于循环卷积神经网络的超分辨率算法在保证模型重建质量的基础上,可以在一定程度上减少模型的参数数量。该类网络模型通过设置循环卷积结构,复用卷积层参数来不断扩大模型感受野,从而增强网络模型的非线性映射能力。
本文将主要研究基于循环卷积神经网络的图像超分辨率重构算法,这是一种特殊的卷积神经网络。与常规卷积神经网络不同的是,该类网络模型通常利用循环卷积结构来达到减少参数的目的。然而循环卷积结构并不能有效的降低模型复杂度及计算量。本文从降低模型参数量和计算量出发,受谷歌的Inception系列网络的启发,提出了一种被称之为RNIN (Recursive Naive Inception Network) 的网络模型。我们的网络模型含有一种新的朴素单元结构,该单元结构通过循环单层卷积层,然后聚合所有循环卷积层的输出,最后得到一种稀疏的网络连接。与谷歌的Inception系列网络的单元结构相比较,我们的单元结构超参数少,且设置更加简单。为了更加充分的利用单元结构的非线性映射能力,本文在单元结构外又设置了外部循环来进一步拉深网络,从而获得更大的感受野。虽然循环卷积神经网络设置简单,但也带来了训练复杂及容易发散等问题。为了保证模型的稳定训练,最大程度上降低梯度弥散及梯度爆炸所带来的训练问题,本文引入了跳跃连接和循环监督两种方法。跳跃连接则是通过强制卷积网络学习高频残差,从而保证数值稳定;而循环监督则是对循环结构的中间预测结果进行监督,从而缩短梯度传播的路径。在本文模型的最后,我们采用了一种自学习的集成算法来加权中间预测结果的输出,从而进一步提升模型的重建性能。大量实验结果表明,本文算法在主观视觉和客观评价上,都优于目前的卷积网络的超分辨率算法,同时在参数量及计算量上也保持着相当的优势。