基于生成对抗网络的多聚焦图像融合

来源 :华北电力大学(北京) | 被引量 : 0次 | 上传用户:vickyfucandy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多聚焦图像融合是图像处理领域的一个热点问题。近年来,随着深度学习技术的发展,卷积神经网络在多聚焦图像融合中的应用也越来越来越广泛。大部分基于卷积神经网络的多聚焦图像融合方法主要思路在于,将多聚焦图像融合的问题转化为区分聚焦像素和离焦像素的二分类问题,然后通过训练一个可以判别像素聚焦水平的卷积神经网络来产生决策图,最终在决策图的引导下完成多聚焦图像融合。然而,这些多聚焦图像融合方法仍然面临着一些不足:其一,根据决策图来实现图像融合,其融合效果完全取决于生成的决策图的准确性,而随着图像中内容的增加,决策图的准确性也会随之下降;其二,卷积神经网络的训练需要大量的带标签的数据集,然而实际上这种数据集并不存在,现有的基于卷积神经网络的多聚焦图像融合方法都只是简单地通过对全聚焦图像进行模糊处理,这些近似处理的方法并不能完全模拟自然图像。为了避免决策图的生成并提高融合图像的质量,本文首先设计了基于单判决器生成对抗网络的多聚焦图像融合方法。该网络主要包含生成器和判决器两个部分。生成器的输入是多聚焦图像而输出是生成的图像,其主要目的是为了产生足够清晰的“假”全聚焦图像,而判决器的输入是“真”全聚焦图像或生成器产生的“假”全聚焦图像,其目的是尽可能区分这两个全聚焦图像中的“真”图像和“假”图像。该网络是一个端到端的网络,可以根据多聚焦源图像生成最终的融合图像,无需生成决策图。在基于单判决器生成对抗网络的多聚焦图像融合方法中,本文将全聚焦图像作为判决器的真实图像,而通过对全聚焦图像进行高斯模糊的方式来生成多聚焦源图像,这种方法显然不能准确模拟自然图像。因此,本文在上述方法的基础上进一步提出了基于双判决器生成对抗网络的多聚焦图像融合方法。在该方法中,多聚焦源图像既是生成器的输入图像,同时又分别作为两个判决器的真实图像,该网络可以直接在多聚焦图像数据集的基础上进行训练,无需像其他方法一样对全聚焦图像进行高斯模糊来生成数据集。另外,本文创造性地提出了基于结构相似度的自适应损失函数,根据源图像与真实图像间结构相似度的不同而动态调整生成器与两个判决器之间的对抗损失,使得网络得以在提高融合效果的同时保持网络的稳定性。融合图像质量在主观视觉和客观指标两方面上进行评定,经实验结果表明,融合图像清晰度高,保有细节丰富。
其他文献
隐写术是一种将信息或数据隐藏到数字图像中的技术。根据是否带有隐藏信息,可以将图像分为含密图像和载体图像。数字图像在表示上具有很高的冗余度,因此可用于隐藏数据。图像隐写术主要可以分为空间域和变换域。图像隐写术的最基本技术是利用最低有效位(LSB)替换隐写算法。存在大量可以将秘密信息或数据隐藏到数字图像中的隐写技术。每种方法各有利弊。因此,有必要建立更准确的隐写分析技术,能够检测出使用各种隐写方法所产
在数据库数据信息安全防护的过程中,不仅要避免外部攻击带来的重要信息泄露危害,同时还需要时刻关注内部违规引起数据库操作安全风险,尤其要注意数据库运维过程中带来的安全风险。现阶段运维安全审计系统对数据库的运维仅限于事故的追责,并没有对运维人员的权限及操作进行合理的管控。因此急需在数据库操作中加强运维管控技术来实现安全保障。本文从数据库运维操作的安全性出发,研究当前数据库运维操作过程中存在的缺陷和风险,
从自然场景获取的图像中读取文本,也被称为场景文本识别,是一项具有挑战性的计算机视觉任务。然而,场景文本识别模型的训练需要采用大型的训练集,训练集的体量和复杂性增加不可避免的带来了样本噪音的问题。样本噪音可降低场景文本识别模型的识别准确率从而影响模型的可用性,精心制作的少量的样本噪音就可对模型的可用性造成不可忽视的破坏。这种利用样本噪音对模型完整性、可用性造成破坏的攻击方法被称为数据投毒攻击。目前对
随着区块链技术的日益成熟,越来越多的系统以区块链为底层架构。而日益增多的物联网设备也产生了大量的数据。毫无疑问,这些数据被协同处理并共享后将产生更大的数据价值。考虑到这些数据分属不同的实体或个人,所以用安全多方计算来设计数据处理共享方案能很好的兼顾数据安全和隐私保护这两点要求。本文围绕区块链和安全多方计算技术展开相关研究。以区块链为基础,本文分别从横向并列的三个不同的角度进行研究:安全多方统计计算
单图像超分辨率重建是计算机视觉领域经典问题,旨在从一个给定的低分辨率图像中恢复出高分辨率图像。近年来,基于深度卷积神经网络的图像超分辨率技术取得了突出进展,许多有效方法相继被提出。但是,当前大多数方法通过简单堆叠残差块方式增加网络深度,虽然提升了网络性能,但是不可避免引入大量参数,限制了在移动或嵌入式等资源受限设备中的使用。本文提出了一种轻量级嵌套残差超分辨率网络,旨在构建一种参数量少、视觉效果良
对隐私数据保护在当今愈发重要。安全多方计算主要应用于隐私数据的联合计算,在保证隐私的前提下发掘数据的价值。安全多方计算提供了多方参与联合计算的解决方案,可以实现在不暴露隐私数据的前提下得到约定函数的结果。安全多方计算技术在电子投票方案的设计中发挥着重要作用。利用安全多方计算技术的安全电子投票方案可以有效的避免信息泄露的情况发生。基于安全多方计算的电子投票方案在具体实现中涉及很多相关领域的技术,包括
制定替代能源政策的必要性是因为人们认识到化石燃料也并不是无穷无尽的,并且对环境有着非常严重的危害。因此,在过去的几十年中,科学界一直致力于能够使用和转换可再生能源,特别是利用太阳辐射的系统。如今,使用太阳能集热系统作为供热来源的发电站相较于无储能系统的光伏电站,具有稳定性更高的优势,而且与有储能光伏电站相比具有储能成本低,使用周期长的优点。由于吸收器表面能流密度分布受到很多种因素的影响,而且能流密
近年来,以深度学习为代表的人工智能技术取得了快速发展和广泛应用。然而,在实际应用中,人工智能的性能还是依赖于大量的标签数据,模型泛化性能不高。因此,如何减缓对标签数据的依赖并提升模型泛化性能是目前人工智能领域亟待解决的问题。领域自适应(Domain Adaptation,DA)就是该问题较好的解决手段,其旨在利用来自源域的知识帮助在新且相关的目标域上的学习。本文从损失函数、学习框架以及网络结构三个
在能源结构向低碳化转型的关键阶段,为尽快实现“碳中和”,有必要对清洁燃料火焰进行深入研究从而明晰其燃烧特性。本文系统综述了气态和生物质燃料火焰的检测方法以及火焰电学特性研究的发展动态,在实验室规模的燃烧设备上开展了甲烷和生物质燃烧实验,并基于图像和静电信号分析了火焰的形态特征和电学特性,为全面了解清洁燃料燃烧特性提供了参考。本课题的主要工作内容如下:本研究使用非侵入式静电传感器阵列测量不同种类火焰
图像去噪、图像融合一直是数字图像处理领域的研究热点问题。近年来,分数阶小波变换成为了一种新的信号处理方法,其定义基于小波变换和分数阶傅里叶变换。它将多分辨率分析推广到时域-分数阶频域,成为一种新的时频域分析方法。因此,将分数阶小波变换应用到图像去噪、图像融合领域具有非常广阔的发展前景。本文的主要研究工作如下:(1)在图像去噪方面传统的阈值函数去噪主要是硬阈值函数去噪和软阈值函数去噪,但是这些阈值函