基于变分和多尺度分解的多源图像融合模型和算法

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:dota1231
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像融合最早出现在20世纪70年代后期,是综合了传感器、图像处理、计算机和人工智能理论的交叉研究领域。Pohl等人对图像融合定义如下:图像融合就是通过一种特定算法将两幅或多幅图像融合成一幅新图像。利用多传感器信息之间的冗余性和互补性,图像融合技术可以将多个传感器在同一时间或不同时间获取的关于某个场景的序列图像信息加以综合,从而生成一幅新的对该场景描述更为全面、更精确的图像。例如,在医学领域,图像融合技术可以将多种模态的医学图像信息有机结合,实现优势互补,弥补由于单一模式的医学成像机理不同造成的信息缺失,有助于医生对疾病准确、快速地诊断和治疗。目前,图像融合技术已被广泛应用到医学,航天航空,军事和遥感等多个领域。但是,由于图像成像条件限制,获取的源图像存在带噪声或运动模糊问题;同时,成像机理的不同,也会导致不同模态的图像在灰度或细节纹理表征上存在很大的差异。这些问题给图像融合带来巨大的挑战。如何提高融合质量,减少计算复杂度是目前图像融合领域的研究热点。本论文的主要工作有三部分:第一部分,我们提出了基于二阶广义全变差和局部信息的图像融合模型。在本模型中,我们用广义全变差(Total generalized variation,TGV)作为正则项。广义全变差不仅含有低阶导数信息,还含有高阶导数的信息,所以能够在保持边缘和纹理信息的同时,降低阶梯效应。同时,我们用L2范数作为保真项,并提取局部的梯度信息计算权重。这些权重能够使得融合图像保留的细节结构信息更强,更清晰。最后,我们利用原始–对偶算法对本模型进行求解。在数值实验中,我们对多聚焦图像以及不同模态的医学图像进行融合,并与其他经典的融合方法进行比较,从主观和客观两方面证明了我们的方法能够保留更多清晰的边缘纹理信息。第二部分,我们针对计算机断层扫描(Computed tomography,CT)图像和磁共振(Magnetic resonance,MR)图像的特点,提出了一种基于特征提取和各向异性扩散的变分融合模型。在本模型中,我们用L2范数作为保真项提取CT的灰度信息,使得融合后图像的灰度与CT图像的灰度近似;并用有界变差范数作为正则项,约束融合后图像的梯度与MR的梯度逼近,并保证融合后的图像具有一定的光滑性。同时,我们讨论了本模型的凸性,证明了解的存在唯一性。最后,我们用一阶原始对偶算法对模型进行求解。从数值实验结果来看,我们的模型能够将CT图像中的高亮的骨骼结构和MR中高分辨率的软组织都保留在融合图像中。进一步,为了将CT和MR图像中的显著性高亮信息同时保留下来,我们提出了一种新的two-stage的融合框架。在该融合框架中,我们首先利用显著性检测和结构张量对输入的CT和MR图像分别提取显著性亮度特征和几何结构特征,并用这些特征计算权重图。然后,我们利用这些权重图对输入图像进行加权融合,得到一幅具有先验信息的初始融合图像。随后,针对初始融合图像中细节模糊问题,我们利用基于全变差的模型对其进行优化,增强初始融合图像中的细节结构信息,并利用优化算法对模型进行求解。在数值实验中,本章提出的two-stage融合方法与七个经典融合方法进行比较。从主观和客观方面表明了我们的模型能够提取CT和MR图像中显著高亮的灰度信息和清晰的细节结构信息,使得最终的融合图像结构和纹理细节信息更全面和清晰,视觉效果最优。第三部分,我们讨论了基于非下采样剪切波变换的多尺度图像分析,提出了一种基于特征提取和非下采样剪切波分解的图像融合框架。首先,我们利用从输入图像中提取的对比度特征计算权重图,并用这些权重图对输入图像进行融合,得到一幅保留了灰度信息的近似图像。同时,我们利用非下采样剪切波变换将输入图像进行分解,用分解得到的一系列不同尺度和不同方向的高分辨率子图重建出一幅细节图像。最后,我们将前面得到的近似图像和细节图像中的灰度和细节信息合并,得到最终的融合图像。在数值实验中,我们与其他基于多尺度的融合方法进行比较。从主观评价结果上看,我们的方法融合质量更好,细节更清晰。在多个客观评价指标上,我们的方法均优于比较方法。
其他文献
用于ICF实验研究的巨型激光装置是人类迄今为止建造的最大的光学工程,需要使用数千件超精密大口径光学元件,部分大口径光学元件的对角线尺寸接近甚至超过了1米,称之为米量级光学元件,为确保这些光学元件的波面特性能够满足ICF装置的要求,需要在整个制造过程中对其进行精密测量和重点控制,这对传统波面误差检测方法提出了新的挑战,本文以ICF装置米量级光学元件波面误差精密检测工程应用为目标牵引,主要开展了如下工
人脸识别技术已被成功应用于公共安全、金融安全以及社交娱乐等领域。然而,在面对人脸图像存在伪装(墨镜、围巾和口罩等)时现有的技术很难取得理想的结果。并且伪装人脸图像同时也包含姿态、表情和年龄等变化。这进一步增加了伪装人脸识别的挑战。针对伪装人脸识别问题,本文从卷积神经网络结构设计和损失函数约束等方面开展了深入研究,主要工作如下:(1)提出了一种基于深度特征的伪装人脸识别方法(DDFR)。该方法引入了
与在高温下进行的塑性加工相比,材料在冷加工过程中的变形条件与新晶粒的演化机理尚未得到很好的发展,材料的加工性质、其相组成和变形方法对最终的晶粒尺寸和晶粒细化的动力学尚未得到详细的研究。究其原因,主要是因为等通道径角挤压、高压扭转和累积叠轧这些剧烈塑性变形工艺是非常复杂的且不能大批量制备,研究大应变冷变形的微观演变得尤为困难。但一些常规的加工方法(轧制和拉拔)也会在冷加工过程中产生比较大的应变,这些
社会性昆虫包括蚂蚁、白蚁、蜜蜂和黄蜂等,是世界上已知社会化程度最高的非人类生物体.社会性昆虫具有高度发达和错综复杂的社会组织体系,可以像有机体一样灵活地运作,表现出复杂的集体问题解决能力.研究社会性昆虫的集群行为不仅有助于生物学家更加全面、更为深刻地认识社会性昆虫集群行为的理论机制,而且其中一些技术也能够应用于理解人类社会.本文通过使用数学建模的方法研究了群体规模、代谢尺度和随机性对社会性昆虫群体
制冷技术在人类社会随处可见,如空调冷气的使用,生活中生鲜食品的保鲜,工业生产过程中对钢的低温处理,医药工业中保存疫苗、器官等。但是,随着科技水平的不断提升以及国民经济的快速发展,传统制冷技术对环境造成的影响也越来越大,导致温室效应的产生,从而引起全球气候变暖,也对臭氧层造成了极大地破坏作用。另外,我国提倡环境保护以及节能减排,并对制冷技术的应用有一定的要求规范,因此,对高效节能的新型制冷技术的研发
卤化物钙钛矿材料作为一种新兴的具有优异光电性能的材料,在显示、照明、光伏电池等领域大放异彩,受到了广泛的关注。其中,CsPbI3钙钛矿纳米晶(NCs)因其理想的带隙、有效的光吸收和源自全无机成分的高热稳定性而受到发光二极管(LEDs),太阳能电池和光电探测器(PDs)领域的广泛关注。然而,受限于其热不平衡诱导的亚稳态(黑相)到稳态(黄相)的相变问题,CsPbI3 NCs的低成本、大产率、简便易操作
作为艾滋病的病原体,艾滋病病毒(即HIV)损害人体的免疫系统,对全球社会经济和公共卫生构成了巨大的挑战。HIV在宿主内的感染过程是极其复杂的,展现出多种实验现象。合理解释实验现象有助于人们了解疾病的发病机理、病毒的变化规律及实验现象的关键影响因素等,为治疗方案的制定提供一定的理论依据。本文针对HIV感染宿主时出现的实验现象,提出研究问题,建立相应的数学模型,利用病毒动力学的方法对模型进行理论分析,
反应堆压力容器(Reactor Pressure Vessel,RPV)钢是保证核电站安全稳定运行的重要屏障之一,研究合金元素在辐照过程中的行为对发展新一代RPV钢具有重要的指导意义。本文以简单的三元合金Fe-Ni-Si为研究对象,利用纳米压痕技术、三维原子探针技术(APT)、透射电镜(TEM),系统地研究了离子辐照条件下,辐照温度(RT、250℃、350℃)以及辐照剂量(0.1 dpa、0.6
毫米波由于其较宽的带宽、较高的空间分辨力、较小的尺寸易于小型化以及较强的穿透能力可全天候工作等优点,在通信、遥感、雷达和射电天文等领域有着大量的应用。近年来,随着第五代移动通信等现代毫米波通信技术的快速发展,作为通信系统中的关键部件,具有高增益、宽带、低剖面、多波束和高效率等性能的天线,成为了新一代移动通信的研究热点。毫米波技术虽然在现代通信系统中拥有极大的优势,但是由于受大气衰减和吸收的影响,其
固体火箭发动机装药的形状和几何参数可以确定发动机燃气生成率随时间的变化规律,进而决定发动机的工作压强和推力随时间的变化,所以装药设计是固体火箭发动机设计的核心内容之一。装药设计过程中隐含着大量经验知识,传统设计方法通过方案比较、论证来实现设计知识的重用,对设计人员的经验要求高且效率低。本文围绕构造专家系统的关键技术,结合固体火箭装药设计的基本理论,将人工神经网络技术引入到装药设计专家系统中,对其知