基于零样本学习的视频图像超分辨技术研究

来源 :电子科技大学 | 被引量 : 1次 | 上传用户:baby_say
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像、视频等多媒体内容极大丰富了人们的生活娱乐体验,然而广泛传播的互联网内容受采集设备,网络带宽等因素的限制,仍有大部分图像和视频分辨率低且质量较差,难以适应当前人们对图像清晰度的更高要求。超分辨技术可以通过算法处理恢复低分辨率图像和视频缺失的细节信息,生成视觉效果更好的高分辨率图像和视频,因此成为了研究热点。现有基于深度学习的超分辨方法都依赖于外部数据集上的训练过程,且绝大多数用于训练的低分辨率图像,都由理想退化模型即双三次下采样得到,并未考虑真实场景下存在的模糊与噪声影响,造成这些方法在面对非理想条件下的图像或视频时性能急剧恶化。基于零样本学习的超分辨方法充分利用图像的自身信息,只借助待超分辨的图像本身进行训练,能适应多种退化模型下的超分辨问题,然而当前的零样本学习超分辨方法网络结构简单,先验信息不足,且难以直接应用于视频超分辨领域。针对以上问题,本文的主要研究内容如下:1.结合当前超分辨领域中神经网络结构设计的思想,提出了一种改进的零样本学习图像超分辨方法。利用派生卷积层、反卷积层以及残差连接设计了派生卷积残差块,并使用该模块和跳连接构建整体神经网络结构,使得网络模型更加适合零样本学习超分辨任务。引入符合人眼视觉特性的梯度信息,将低分辨率图像的梯度特征与该图共同作为输入,为神经网络提供更多有效的先验知识。同时为不同退化模型设计不同的损失函数,有针对性地训练网络,使模型的适用性更强。本文设计了多个对比实验分析网络结构,梯度先验以及损失函数的有效性。实验结果表明,本文提出的方法在客观指标与主观效果上都表现良好。2.结合图像超分辨方法的基础,将算法扩展到视频超分辨领域。大部分视频超分辨方法在超分辨时需要利用当前视频帧的前后信息,在实际应用中具有一定的局限性。本文定义了更加符合实际情况的超分辨视频模型,并在该模型的基础上提出了一种结合梯度特征以及运动特征的增量式训练视频超分辨方法,结合多个特征自适应判断视频帧是否需要加入训练,同时利用梯度细节构建了概率图来决定视频图像中的重点训练区域。针对视频超分辨场景改进了神经网络结构,在得到基础网络后,添加所设计的特征变换层对特征进行变换,并使用微调训练的策略更新特征变换层的参数,增强网络模型性能。通过实验分析,本文提出的方法取得了较好的视频超分辨效果。
其他文献
环氧聚合物具有优异的力学性能、粘接性能和化学稳定性,固化成型收缩率低等特点,在工程塑料、胶粘剂、涂料和复合材料等领域中应用广泛,然而环氧聚合物的耐热性和热稳定性较
目前,随着我国证券市场的发展,中小投资者的力量越来越不容忽视,中小投资者权益保护这个课题也越来越重要,文章探究SY公司关联方交易对中小投资者权益保护的影响。第一部分,文章先简述了研究的背景以及研究的目的和意义,说明中小投资者权益保护研究的重要性和迫切性,并指出当前关联交易的盛行严重损害了中小投资者的权益,于是确定了文章站在关联方交易的角度对中小投资者的权益保护进行研究。随后对国内外的相关文献进行总
2011年11月16日,随着《营业税改征增值税试点方案》(财税[2011]110号)的发布,我国营业税改征增值税的改革正式开始,涉及的行业主要为生产性服务业。经过五年时间在试点地区与行业方面的扩展,财政部与国际税务总局联合发布《关于全面推开营业税改征增值税试点的通知》(财税[2016]36号),在全国范围内全面推开营业税改征增值税改革试点,将房地产业、金融业等全部营业税纳税人囊括在试点范围内,由原
电压暂降作为发生频次最高、造成后果最严重的电能质量问题之一,随着现代制造产业的不断发展受到了越来越多的关注。工业园区由于包含大量对电压暂降极其敏感的用电设备,其对电压暂降治理的需求十分突出。动态电压恢复器作为最经济、有效的治理电压暂降的定制电力电子设备,是电压暂降治理技术的研究热点。本文立足于受电压暂降影响极大的工业园区,对电压暂降的特性以及动态电压恢复器的拓扑结构、补偿策略、参考电压生成方法和电
现代化种鸡养殖场为了减少公鸡的饲养数量、提高配种受精率和生产效率,普遍采用人工授精技术辅助鸡场繁殖。然而,人工采集出来的精液随着保存时间的延长,精液活性氧(ROS)水平升高,精子发生氧化应激,最终导致其活力下降甚至凋亡,直接影响受精率。许多研究表明,具备较好抗氧化损伤能力的稀释液可以有效降低精子的氧化损伤水平,有助于保持精子活力。因此,本研究在鸡的精液稀释液中添加不同浓度的虾青素——一种较强的天然
组播是一种传统的计算机网络通信方式,以其“一对多”的通信特点,适用于视频直播、线上推送、多媒体在线会议等场景,具有节约网络资源、降低发送方负荷的优势。但IP组播在设计之初,安全性未得到重视,导致容易遭到窃听、盗用、拒绝服务等安全攻击,造成使用场景受限。为IP组播添加成员身份认证和组播数据加密机制是提高IP组播安全性的主要研究方向。为实现身份认证机制,普遍采用的方法是建立一个专用的服务器作为认证实体
生物金属有机框架化合物(Biological Metal-Organic Frameworks,简称BioMOFs)作为一类具有仿生特征的晶态多孔材料,由于其优异的生物相容性,结构多样性及孔道可调和可修饰性等
当前,我国经济发展迅速,社会经济发展进入新常态时期。但是,我国的贫困问题依然存在,在国家的各个角落仍然有着大量的贫困人口。如果不及时的解决各地区的贫困问题,不仅会影响到个人的基本生存,阻碍个人的未来发展,也会导致社会上公平正义的缺失,甚至引发社会动荡。尤其是随着社会的发展,贫困的概念和内涵也在不断地发生变化,新形势下对于扶贫工作提出了更高的要求,扶贫方面的研究也要紧跟时代的脚步。采用CFPS中国家
互联网高速发展时代,网络传媒蓬勃发展,现实世界的各种信息汇聚网络,众源信息数据“大爆炸”,每个互联网用户都是互联网数据的生产者,也是互联网数据的受益者。在开放的地理空间虚拟环境中,人们通过社交媒体,以文字、语音、图片、视频等交流方式,发布或接收与生活环境息息相关的事物,大多信息数据具有地理信息属性,构建了现实世界的拟态环境,一种新的地理信息时代随之诞生。Flickr网站是全球互联网用户分享、管理、
有机磷化合物具有广泛的应用范围。随着有机磷化合物在农药、制药、功能材料中的重要性日益增加,设计一类新型、高效构建磷-碳/磷-杂键的方法成为当今有机合成中的重要研究方