基于空间连续生成对抗网络的视频帧间图像生成

来源 :燕山大学 | 被引量 : 0次 | 上传用户:haofei88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统提高帧率的算法虽然消除了普遍存在的拖尾以及抖动的现象,但同时也造成了图像边缘模糊的问题。针对低帧率视频播放不流畅以及使用传统方法提高视频帧率造成的边缘模糊问题,本文提出一种基于空间连续生成对抗网络(Spatial Continuity Generative Adversarial Networks,SC-GAN)的视频帧间图像生成方法,通过使用基于视频的图像数据集对SC-GAN模型进行训练,并利用图像空间上的连续性,完成低帧率视频帧间图像的生成。首先,在视频数据的预处理过程中将低帧率视频进行分帧处理并按顺序进行编号,组成一个由视频帧构成的数据集,在模型的训练中,将使用此数据集对SC-GAN模型进行训练。其次,本文提出的SC-GAN模型将自编码器作为判别器,替代原始GAN判别器中的卷积神经网络结构。其优点是能够更迅速的进行样本的特征学习,提高样本训练的收敛速度。SC-GAN还引入了Wasserstein距离和平衡参数两个概念。本文使用基于Wasserstein距离的损失函数来优化训练网络,同时引入一个平衡参数γ保持生成器与判别器在训练过程中的平衡,有效避免了模型崩溃的问题。在平衡参数γ等参数初始化完成之后,将使用对低帧率视频预处理之后的数据集对SC-GAN模型进行训练。最后,利用视频帧图像在空间上的连续性,使用Adam优化算法在相邻的两帧图像之间找到一个最优分布并将其映射到图像空间,得到生成的帧间图像。为了说明SC-GAN模型的生成能力,本文还使用PSNR和SSIM对生成的帧间图像进行了质量评估。从生成的结果来看,解决了传统方法产生的边缘不清晰的问题,得到了质量较好的图像帧,为提高视频的帧率提供了一种新的方法。
其他文献
为了更好地结合当今网络化信息化环境,提升企业的生产能力,降低成本,提高资源利用率,更好地解决大型复杂产品的生产制造问题,促进企业间更有效地协同生产制造,云制造的概念在
本文从分析财政收入分权契约形式出发,认为1994年以前的财政收入包干体制实际上是比例分成合同和定额分成合同的结合,而分税制是分占所有权和比例分成合同契约形式的结合,具
北运河是京杭大运河中沟通京津的一段,向为漕运,于清朝末期全线停航。通过南水北调工程的实施以及北京市水环境的恢复,可为满足北运河复航水质水量的需求提供保障。北运河的
随着县级融媒体中心建设的持续推进,县级媒体正实现从业界边缘向主流传播渠道的身份转变。目前县级融媒体中心的建设、发展还处于起步阶段,机遇和挑战并存。只有多种途径做好
清代归化城土默特地区的水权,属于土默特蒙古所有,在归化城土默特蒙古将土地租典给民人之时,水权亦随之发生转移,但亦有水权单独租典的情形。水资源则随着本区农垦规模的扩大
29个部门联动,公安、国土专项网线,省、市法院点对点查控系统……盱眙县法院打破以往“单打独斗”的执行工作局面,今年以来已执行各类案件975件,执结标的共5978万元,受到申请
<正> 水产配合饲料养殖给水产养殖业带来了一场深刻的变革,无论是从养殖观念、养殖结构的调整、管理方式等都发生了巨大的变化。但是,随着养殖规模的扩大、养殖产量的大幅度
近年来,“SARS”、“禽流感”等突发性公共卫生危机的肆虐严重地影响了人们的身体健康与正常生活以及社会的良续发展,同时也对政府的治理能力提出了考验与挑战。现代社会的整合
核心素养导向下的英语阅读对教师的教与学生的学都提出了更高的要求。思维导图具有显性直观的逻辑性,是实现高中英语阅读中文本解读的一种有效策略。文章旨在探究思维导图如