论文部分内容阅读
传统提高帧率的算法虽然消除了普遍存在的拖尾以及抖动的现象,但同时也造成了图像边缘模糊的问题。针对低帧率视频播放不流畅以及使用传统方法提高视频帧率造成的边缘模糊问题,本文提出一种基于空间连续生成对抗网络(Spatial Continuity Generative Adversarial Networks,SC-GAN)的视频帧间图像生成方法,通过使用基于视频的图像数据集对SC-GAN模型进行训练,并利用图像空间上的连续性,完成低帧率视频帧间图像的生成。首先,在视频数据的预处理过程中将低帧率视频进行分帧处理并按顺序进行编号,组成一个由视频帧构成的数据集,在模型的训练中,将使用此数据集对SC-GAN模型进行训练。其次,本文提出的SC-GAN模型将自编码器作为判别器,替代原始GAN判别器中的卷积神经网络结构。其优点是能够更迅速的进行样本的特征学习,提高样本训练的收敛速度。SC-GAN还引入了Wasserstein距离和平衡参数两个概念。本文使用基于Wasserstein距离的损失函数来优化训练网络,同时引入一个平衡参数γ保持生成器与判别器在训练过程中的平衡,有效避免了模型崩溃的问题。在平衡参数γ等参数初始化完成之后,将使用对低帧率视频预处理之后的数据集对SC-GAN模型进行训练。最后,利用视频帧图像在空间上的连续性,使用Adam优化算法在相邻的两帧图像之间找到一个最优分布并将其映射到图像空间,得到生成的帧间图像。为了说明SC-GAN模型的生成能力,本文还使用PSNR和SSIM对生成的帧间图像进行了质量评估。从生成的结果来看,解决了传统方法产生的边缘不清晰的问题,得到了质量较好的图像帧,为提高视频的帧率提供了一种新的方法。