基于卷积神经网络的单幅图超分辨率重建

来源 :天津大学 | 被引量 : 0次 | 上传用户:nanpingke11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在智能化信息化深入普及的今天,人们对高分辨率图像的要求越来越高,图像超分辨率重建技术开始发挥重要作用。该研究在图像理解、语义分割以及识别等领域有着广泛应用前景与研究价值。在实际应用中,我们希望超分辨方法不仅能够重建统计意义上的高质量图像,而且能够重建视觉感知意义上的高质量图像。而现有的超分辨算法较难满足两个需求,也就是经常出现客观评价指标与主观评价指标得分不一致的问题。比如,有些超分辨方法所重建图像质量的客观评价指标(峰值信噪比)表现良好,但主观评价指标值(Mean Opinion Score:MOS)相对较低;而有些超分辨方法(生成对抗网络)超分的结果,重建图像的主观效果良好,但客观评价指标较低,基于上述问题,论文提出两种基于深度学习的单幅图超分辨率重建方法。首先,论文提出两种基于密集连接生成对抗网络的单幅图像超分辨重建模型。模型1中的生成网络采用基于密集的残差结构,利用residual-in-residual的密集连接实现对图像高频特征的快速准确学习,生成损失调整为L1范数,对抗网络采用DCGAN的鉴别器网络,对抗损失舍弃了对数以保证数据同分布,使训练更加稳定并增强结果的鲁棒性,因为原始生成对抗网络中对抗损失的对数,并不关心生成数据与决策边界的距离。模型2是在模型1的基础上增加了一种对抗网络。两种模型的重建结果不仅在视觉感知上舒适很多,而且在客观评价指标上也有所提升,优于基本的生成对抗网络超分辨率算法。第二,论文提出了基于质量评价网络指导的单幅图超分辨率重建算法。该算法由交叉注意单元(Cross attention unit:CA)组成。超分辨网络结构与密集残差网络(Residual Dense Network:RDN)基础架构相似,由浅层提取层、高频信息提取层、融合层、全局融合层、上采样层组成。质量评价网络由Alex Net改进组成,依据超分的特点,网络输入为64×64,最后的全连接改为了卷积操作。并在live1测试集上PLCC达到0.987,SROCC达到0.986。最后,在set5上的超分辨实验结果表明,缩放2倍重建图像的PSNR值可达37.91,所提方法在定性和定量上均优于其他方法。
其他文献
人脸表情识别指通过计算机来计算和分析人的脸部肌肉、形态和关键特征的变化,从而判断其内部情绪。在模式识别领域中,人脸表情识别是一个非常活跃和具有挑战性的领域,广泛应用于人机交互环境的智能化、远程教育和精神病理分析等。然而,尽管最近的研究中,深度学习和卷积神经网络已经成功应用于人脸表情识别,但是无约束情况下的部分遮挡人脸表情识别仍然是一个挑战,并已经成为其在实际生活应用中的一大阻碍。一方面,人脸表情识
大脑是个复杂且神奇的组织系统,它可以对接收到的外界信息进行加工处理,并促使人类完成相应的认知过程。探索大脑的组织结构和执行功能之间的关系是理解人类的思维过程以及脑类疾病的关键所在。近年来,将图论引入脑功能的研究即将大脑抽象为一个复杂网络,能形象地揭示脑功能网络中信息传递过程。此外,社团结构是刻画复杂网络结构特性与网络内在潜在关系的基本特性之一,因此通过社团检测去分析各脑区之间的关系对理解大脑的组织
翻开这本写于150年前的小说,我们很难感觉到时间的流逝:仿佛这些发生在海底的故事刚刚创作完成,作家笔尖上的墨水还没有彻底干透。旅行是儒勒·凡尔纳一生写作的主题。不过,他笔下的旅行并不限于在已知世界的版图上巡游。科幻小说给了他更为广阔的舞台。他可以凭借想象,抵达彼时人类从未企及的领域。换句话说,他的写作就是挑战未知,用想象填补真实世界的缺失,将所有的不可能变成可能。因此,哪怕驱使他创作的是天马
期刊
无向概率图模型之马尔科夫随机场(Markov Random Field,MRF)是一种能够有效对真实世界中的网络结构进行建模的工具。MRF最近已被成功地应用于社团发现领域,并取得了很好的效果。然而已有基于MRF的社团发现方法大多仅利用了网络中的拓扑结构进行社团发现,而在网络中具有同样重要地位的属性信息却被忽视了。为了解决该问题,本文将善于描述属性语义的主题模型融入擅长刻画网络拓扑的MRF社团发现模
深度学习的形式化理解一直是一个重要的研究主题。近年来,借助量子多体物理学,深度学习的形式化理解已经取得了很大的进展。例如,在量子多体系统中,通过量子纠缠熵,神经网络中的归纳偏置可以被解释,此外还可以借助量子纠缠与神经网络之间的关系指导某些任务的网络架构和参数的设计。然而,在最近的关于量子纠缠研究中,还存在两个仍未揭示的问题,这些问题限制了纠缠测量的应用潜力。首先,纠缠熵的理论分析仅在单个对象(比如
近年来,机器学习与其他领域的结合越来越紧密,如出行领域、娱乐领域等。与此同时,将机器学习应用于生物领域也逐渐被研究者关注,先前有文章将细胞、组织等生物的研究与机器学习结合起来,来识别细胞的特征,但这些模型相比于其他领域较为落后和粗糙,而且这些研究都是基于监督学习的方式来识别细胞特征,很少有学者利用机器学习来研究细胞的迁移规律。在胚胎发育的早期阶段,细胞受到一套高度复杂的多尺度调控机制的影响,因而对
随着高通量测序技术的发展,只利用序列信息预测蛋白质二级结构成为计算生物学研究的热点问题之一。当前的机器学习方法使用大量的标注样本,通过构建监督学习模型实现二级结构的预测。然而获得二级结构的标注信息往往需要大量的生物学实验和人工纠正,是一项耗时且代价昂贵的任务。本文提出只利用较少标注样本来预测蛋白质二级结构的半监督对抗生成网络模型,主要贡献包括:(1)首先,对实验所用到的数据集进行数据清洗,对数据集
目标检测作为计算机视觉的基础性研究,近年来目标检测在精度和速度方面不断提高,并且在智能驾驶、安全检查等相关方面已经部署应用。本文主要探究在大型养殖场和安防场景中目标检测的应用。前人所做的相关研究主要集中在使用传统的特征提取方法和分类器进行目标检测或采用深度网络加可见光图像的方式。这些方式都有一定的局限性,一是传统目标检测方法相对于深度学习方法精度较低,二是可见光图像在黑暗场景下将无法完成检测。所以
在数字化时代,面临诸多虚假新闻、隐藏金融诈骗团体等情报分析的新问题,本课题组构建了基于复杂网络算法进行人(欺诈者)、物、组织、真假事件及相互关系的感知、理解、预测的情报分析框架IAF(Intelligence Analysis Framework),从基于社会/物理/网络空间中人类电子足迹的大规模电商交易关联网络中,检测出符合特定模式的欺诈行为,是智能情报分析框架中理解模块的关键功能。本文围绕基于
在信息化和智能化深入普及的今天,图像超分辨率重建技术日益成熟并且在日常生活中也开始发挥着越来越重要的作用。该研究在医学成像、遥感成像和公共安防等领域有着广泛的应用前景。近年来随着深度学习的广泛应用,越来越多的超分算法采用卷积神经网络来实现重建任务。现有的算法为得到高质量的重建图片就使用很深或者很宽的网络,这样的网络训练需要占用大量的计算资源和内存消耗,很难在实际中应用;其次是算法重建图片耗时长,重