超分辨率重建的目标是从低分辨率图像/视频恢复出相应的高分辨率图像/视频。作为典型的计算机视觉问题,超分辨率重建已经被研究了数十年。近年来,高清显示器的普及推动了视频超分辨率的发展。本文重点研究基于深度学习的视频超分辨率方法,提出了引入注意力机制的深浅层结合的视频超分辨率网络ADS-VSR和融合高分辨率光流估计的改进的视频超分辨率网络OFE&ADS-VSR。本文的主要工作体现在以下三个方面:(1)学习和研究了具有代表性的单帧图像和视频的超分辨率重建方法,以及基于光流的运动估计方法,并分别数值实现和对比分析了几种具有代表性的方法。(2)提出引入注意力机制的深浅层结合的视频超分辨率网络ADS-VSR,并将其应用于视频超分辨率重建。ADS-VSR网络由重建视频帧基本信息的浅层网络和重建高频细节信息的较深层网络,以及基于注意力机制构造的Attention模块组成。联合训练ADS-VSR网络能够有效提高模型的拟合能力和收敛速度。采用ADS-VSR网络进行视频超分辨率重建的过程为:首先采用局部/全局平滑性假设和全变分正则化约束的光流估计方法以及自适应运动补偿方法对低分辨率视频帧进行运动估计和补偿;然后将补偿过的低分辨率视频帧送入ADS-VSR网络输出高分辨率视频帧。实验结果表明,ADS-VSR网络重建的视频包含更丰富的细节信息并获得较好的视觉质量。(3)提出融合高分辨率光流估计的改进的视频超分辨率网络OFE&ADS-VSR,实现了端到端的视频超分辨率重建。OFE&ADS-VSR网络具有两方面的特点:a)基于金字塔结构的光流估计网络OFE,对输入的低分辨率视频帧采用从粗到细的方式估计对应的高分辨率视频帧之间潜在的高分辨率光流;b)采用后上采样模式的ADS-VSR网络,有效提高网络训练效率。通过端到端的OFE&ADS-VSR网络实现视频超分辨率的过程可以概括为三个阶段:I)将低分辨率视频帧送入OFE网络获得高分辨率光流,并利用空间到深度的转换建立起高分辨率光流和低分辨率视频帧之间的联系,生成相对应的低分辨率光流集合;II)依次利用低分辨率光流集合中的光流值对相邻帧做运动补偿,并将补偿后的多张低分辨率相邻帧和待超分的中心帧组合成低分辨率草稿集;III)把低分辨率草稿集送入后上采样模式的ADS-VSR网络,输出待超分的中心帧的高分辨率结果。大量实验结果表明,OFE&ADS-VSR网络可以进一步提高视频重建质量。通过在Vid4、Harmonic-8和SPMC-11测试集上的定量和定性比较可得出,本文方法的重建结果更逼近真实的高分辨率视频帧,包含的细节信息更丰富,给人的视觉感受更良好。