论文部分内容阅读
多通道图像超分辨是图像分析、语义理解的基础。由于自然条件的影响以及成像设备器件的干扰,成像获得的多通道图像往往存在着分辨率降低、存在模糊噪声等情况。超分辨率重建就是运用算法将这些低分辨图像重建出高分辨图像。基于卷积神经网络的多通道图像超分辨率重建过程模拟人脑神经元突触的结构,运用海量的训练数据学习到低分辨图像与高分辨图像的映射权值矩阵。同时由于多通道图像相比单幅图像存在着时间或光谱维度,通过利用时空相关性或空谱相关性,将相邻图像应用到卷积神经网络训练中来补充中间图像的信息,以获得更好的超分辨效果。论文围绕基于深度卷积神经网络的多通道图像超分辨方法展开工作,取得如下成果:(1)研究了利用相邻帧间冗余信息进行视频超分辨的VSRnet模型,并将模型在三个方面进行推广,得到DeepVSRnet模型。首先将模型输入图像数目从3帧推广到K帧,然后将卷积神经网络中图像级联前的特征提取层数从1层推广到N层,最后将卷积神经网络中图像级联后的重建层数从1层推广到M层。通过实验探讨了网络层数的变化、输入帧数的变化以及损失函数的优化方法对模型性能的影响。(2)结合卷积神经网络在光流估计中取得的良好效果,将FlowNet2网络运用于运动补偿,构建基于卷积神经网络的端到端的视频超分辨模型DeepVSRnet2。(3)为了更好的利用相邻帧间的补充信息,构造了一个基于时空相关性的损失函数。首先分别计算超分辨后的视频图像与真实视频图像的运动轨迹,然后利用运动轨迹一致性来作为新的损失函数,最后将构造的损失函数应用到视频超分辨率重建算法DeepVSRnet2模型的训练中,得到更优的视频超分辨效果。(4)将视频超分辨中的DeepVSRnet模型推广到高光谱图像超分辨中。由于高光谱图像与视频图像既有相似性,也有不同,于是将DeepVSRnet模型进行修改,以适应高光谱图像超分辨的需求,提出一种基于空谱联合和深度卷积神经网络的高光谱图像超分辨率重建模型。