论文部分内容阅读
随着网络基础设施的不断完善和移动设备的快速普及,近年来短视频行业飞速发展,观看短视频已经成为人们在线休闲消遣的主要娱乐方式之一。由于短视频具有用户随手拍摄、制作门槛低、创作简单等特点,并且用户缺乏专业设备和拍摄知识,在拍摄过程中容易受到手抖、物体运动和光照环境等因素的影响。造成拍摄出的短视频在分辨率、清晰度、亮度、对比度等方面与专业视频相差甚远,影响用户的观赏体验。因此,对短视频超分辨率技术研究具有重要的实用意义和学术价值。基于以上应用背景,本文提出了一种融合图像去噪的短视频超分辨率深层神经网络。具体地,本文设计了一种基于特征分段融合策略的短视频图像去噪模型,采用多尺度特征图渐进式融合与特征重建为后续的超分辨率提供细节信息丰富、高质量的视频图像;另外,在超分辨率阶段中,采用可变形三维卷积设计实现了一种捕获时空信息和自适应运动补偿的特征对齐融合模块。其次,为了提升网络模型学习相关特征的能力,本文提出了一种融合通道注意力与空间注意力的自学习方法,分别采用自适应大小的局部跨通道交互策略和可分离卷积捕获特征通道与特征空间中潜在的依赖关系,并设计了一种基于注意力机制的残差密集连接模块。此外,为了验证短视频超分辨率算法的有效性,我们也构建了一个短视频超分辨率数据集。最后,我们设计了一个用于短视频超分辨率转换的原型系统。我们的算法分别在短视频数据集与公开数据集上开展多组实验比较,均获得了良好的表现。另外,我们还对所提的短视频图像去噪模型和注意力方法进行了实验分析,进而验证了所提模型对于短视频超分辨率任务的有效性。