受制于各类传感器自身性质,不同模态传感器获得的信息不尽相同,且存在互补关系。相同图像传感器由于参数、焦距设置不同,对于同一目标或背景所获得的信息也存在互补与差异。图像融合技术通过对不同传感器或同一传感器在不同参数设置下,获取的图像信息进行综合,从而提升图像的信息利用率,增强图像的视觉效果;为后续的人体视觉观察与计算机处理与检测打下坚实的基础。如今,图像融合技术已被大量应用于光场照相机、遥感测绘、导航制导、医学诊断等领域。近年来随着稀疏表示理论的逐渐兴起,基于稀疏表示的图像融合技术也得到了极大的发展。稀疏表示技术由于能够将图像有效的分解为一组线性系数与过完备字典的乘积,并极好的保留图像的细节特征,使得基于稀疏表示的图像融合方法表现出良好的融合效果。本论文围绕基于稀疏表示的图像融合技术,在现有国内外研究基础之上,对其进行了深入的研究。为解决基于稀疏表示的多模态图像融合中稀疏系数误选的问题,提出一种基于可控核回归聚类与卡通纹理分解的多模态图像融合算法。本文根据像素点间可控核回归特征的距离,对图像中的像素点进行局部密度峰值聚类,获得像素点簇。对每个像素点簇进行PCA分析,使用PCA基构成紧致的对各个簇进行表示的子字典。并通过每个簇的子字典,构成一个紧致且信息量丰富的大字典。在融合框架中,采用卡通纹理分解分解方法对图像进行分解,对卡通部分采用加权平均算法融合得到卡通融合图像,以充分保留所有待融合图像卡通部分中的低频信息。对于图像纹理部分,本文采用基于稀疏表示的方法,通过学习得到的字典与Max-L1的算法以得到细节更准确的纹理部分融合图像。经过实验,也证明了本文提出方法相对于主流图像方法具有优势。为解决稀疏表示中,不同分辨率的图像,无法采用一个相同的字典进行稀疏编码的问题,本文提出一种基于双字典关联学习的分辨率图像进行融合。该方法,通过学习一组不同分辨率的关联双字典分别对不同分辨率的图像进行稀疏编码,获得维度相同的稀疏系数;并对此稀疏系数进行融合,以高分辨率字典进行还原以获得最终图像融合的结果,从而达到对不同分辨率图像融合的目的。在字典学习中,本文采用双字典共同学习方程,对高、低分辨率图像块进行关联学习的方法获得关联的高低分辨率字典。在融合框架中,本文采用高斯滤波器,将图像分为高频、低频部分,进行稀疏编码并采用不同的系数融合方法对其进行融合,以获得细节更为丰富的多分辨率融合图像。通过实验,此方法的有效性得到了验证。为提升多模态多分辨率图像融合的效果,本文提出一种基于低秩稀疏分解的多模态多分辨率图像融合方法。本文在字典学习过程中,对训练样本进行稀疏低秩分解,分别训练稀疏与低秩部分对应关联双字典组。在获得这两组字典后,本文提出一个字典组优化方程,使得稀疏部分对应的字典组与低秩部分对应的字典组能够分别对融合源图像的稀疏与低秩进行更好的表达,从而改善稀疏表示的效果。在图像融合的过程中,采用低秩稀疏分解对待融合图像进行分解,将其分解为稀疏部分与低秩部分并采用优化后的低秩与稀疏部分对应的字典组合进行稀疏编码;并采用不同的系数融合方法分别对图像稀疏与低秩部分编码得到的稀疏系数进行融合。实验证明,此方法不但可避免融合图像低频部分系数融合的误选的问题,还可以提高图像细节的效果。提出一种根据图像块进行几何分类结果的字典学习算法来获得一个信息量较丰富,且紧致的字典。此算法根据图像分块的几何性质,对图像块进行分类。将图像块分为平滑图像块、有向图像块与随机图像块,并对每个图像块类别学习一个子字典以保证字典信息的充分程度。对于各个类别的图像块,本文采用PCA分析获得每个图像块类的PCA基作为子字典并组合成为字典。由于PCA基很大程度上以减小了冗余的信息,使用PCA基组成的字典更为紧致。实验证明,本文提出的字典学习算法不但可以减少运算的时间,同时还能提高融合的效果。