图像表示是图像处理和计算机视觉领域的重要研究课题之一。有效的数学工具与图像表示紧密相连。目前稀疏表示、变分方法和偏微分方程(PDE)在图像处理的各个研究领域占据着主导地位，其理论已日趋成熟，但仍有很多未解决的问题和新的研究方向。本文以图像处理为背景，以图像表示的数学工具为主线(稀疏表示，Radon域表示，图像的局部与非局部刻画，四元数域刻画)，对相关领域的若干关键问题进行了探讨。首先，探索了基于字典学习的稀疏表示方法，我们建立了多任务，多字典学习模型；其次，在一个一般的两步幂零Lie群上给出了逆Radon变换的一个特征子空间；第三，基于图像的局部与非局部刻画，提出了两种新的变分模型；最后，讨论了四元数小波理论(包括连续小波与离散小波)和四元数PDE及其在彩色图像处理中的应用。本文的主要创新性研究成果有以下几个方面：1.围绕多字典学习方法，系统地提出了多字典学习的图像处理和分解方法。具体包括空间引导的多字典学习，不相关约束的多字典学习，伴随字典的多字典学习。提出了多字典和结构稀疏表示的基因数据识别方法。2.第一类典型域的无界实现为Siegel域，其ilov边界是一般的两步幂零Lie群。我们在这个一般的两步幂零Lie群上，定义了一个特征子空间，证明了Radon变换在这个特征子空间上是双射；其次，定义了一个具有衰减性的函数子空间，证明了两个子空间的等价性，表明了特征子空间元素的衰减性。最后，结合小波变换，给出Radon变换在弱意义下的反演公式。3.基于图像的局部与非局部刻画，提出了两种新的变分模型和相应的算法。基于局部刻画，提出了一般的L1投影模型及分裂Bregman算法，从理论上证明了提出算法的收敛性。基于非局部刻画，从算子特征向量展开的观点分析了图像噪声的抑制原理，给出了新的模型和算法。一系列的实验结果验证了两个模型和提出算法的有效性。4.从平方可积群表示论的观点，在平方可积的四元数值函数空间L2(2,; dx)上，通过定义实值内积，给出容许条件的特征，建立了L2(2,; dx)上的连续小波变换的Parseval等式及反方程。与经典连续小波(复数域)不同，此时Parseval等式的成立需要附加条件。运用四元数与某类复矩阵的对应关系，给出四元数滤波器的构造，使用彩色图像的四元数表示，提出彩色图像的四元数小波分解和重构算法，并给出数值实验。5.基于四元数代数，提出了两类四元数扩散方程。先讨论了一般的彩色图像的四元数域扩散方程，在此基础上，给出了利用四元数运算性质的颜色依赖扩散方程。这些非线性方程及提出算法在彩色图像处理的应用中取得了很好的效果。