如果给定视频帧序列中的连续两帧,通过这两帧的信息预测位于他们中间的一帧的问题,就是视频插帧问题。传统的视频插帧方法依靠对两帧之间的运动信息进行估计,从而合成中间帧。一个经典的对这种运动信息的拟合,叫做光流,被定义为图片中每个像素点的运动矢量分布。此外,随着研究的不断深入,人们逐渐发现,仅仅获得运动信息是不够的,为了更精细地复原图片,需要一些后处理的操作。而近些年来,深度学习方法迅速发展,尤其是在计算机视觉领域,取得了显著的成果。一个自然的想法是将深度学习引入到视频插帧领域,而为了更好地解决该问题,需要将人类的视觉先验知识,一些传统的视觉理论以及深度学习方法集合在一起,设计一套耦合体系,发挥各项模块的长处与优点。而我们的方法主要包括四个步骤:一是对前后帧图片进行预处理,二是对估算的流分布进行改善,三是生成用来合成中间帧的掩膜,四是对图片进行后处理操作合成最终的图片结果。第一步预处理操作可以为神经网络提供更多信息作为输入,包括一些两帧之间的运动信息。后面三步中的每步主要是一个子网络模块,其中第二步在于估算更有助于插帧结果的流分布,第三步主要是依靠神经网络来判断前后帧所占的比重,第四步可以对一些精细结构进行补全,从而获得最终的结果。在一些公开数据集上的实验结果证明我们的方法可以达到该领域的最好水平,得到数值和视觉上都表现优良的效果,而通过对各种模块的有效性分析,可以发现误差函数、训练数据集以及基础网络的选取都会对结果造成较大影响,而前述的三个子网络模块都对结果的改善又一定帮助。取得良好结果的插帧技术的应用场景?分广泛,它在影视,动画或者游戏等行业中都很受到广泛关注。对插帧技术的改良有助于修复破坏的视频,增加视频的真实感,也可以减少对视频带宽的要求。