回归分析是机器学习研究的热门课题。刻画图像数据之间的关系是回归分析的主要内容。但因实际中的图像数据是复杂的,易受到遮挡,光照等因素的影响,刻画它们之间的关系是一个公认的难题。本文通过有效地建模数据中各种类型的噪声,提出了几种新的稳健回归方法。主要研究成果概述如下:(1)本文提出了一种基于核范数的稳健图像回归方法。一些主流的回归方法都是使用基于像素的一维误差模型。这类方法独立地刻画噪声中的像素。可是,由遮挡或者光照改变造成的误差图像矩阵一般是低秩的或者近似低秩的。为了充分地利用这种低秩结构信息,本文提出一种基于图像矩阵的二维误差模型,即基于核范数的矩阵回归模型。该模型采用表示余差的最小核范数作为一个准则来描述所需要的误差图像矩阵,并使用交替方向乘子法来计算回归系数。同时,一种快速的交替方向乘子法用于解决所提出的模型的近似版本,这个算法能够保证平方收敛。传统方法忽视了噪声的空间结构信息,而所提出的方法能够能将这种信息融入到建模中。多个数据库上的实验证明了,与最近的一些基于回归的方法相比,该方法在处理带有遮挡或者光照改变的人脸识别问题时具备一定的优势。(2)本文提出了一种基于推广幂指数分布的稳健图像回归方法。大部分传统的回归方法都将输入的图像数据提前拉伸成向量的形式,并假设噪声图像的每个像素是独立产生的。显然,它们没有考虑到图像数据的结构信息。本文在建模过程中,保留了所有图像数据的矩阵形式,并假设误差矩阵服从推广的矩阵变量的幂指数分布。该分布的本质是:它能够消除误差矩阵像素之间的相关性并使误差图像接近高斯分布。因此,这种假设更适合处理由遮挡或光照所造成的结构性噪声。在贝叶斯框架下,通过利用以上的假设,本文导出了一种基于Schattenp范数的矩阵回归模型。交替方向乘子法(ADMM)用于解决该模型。在算法的每一步迭代中,为了获得一个闭解,本文引入了两种奇异值函数阈值算子。在分类器的设计中,推广的Schattenp范数用于度量测试图像与每类重构图像之间的距离。在多个图像数据库上的识别与重构实验证明了该方法的优势。(3)本文提出了两种基于核-L1范数的联合矩阵回归方法。传统稀疏表示分类器在处理像素水平的噪声时具备一定的优势。基于核范数的矩阵回归模型适合处理图像水平的结构性噪声。但这两种方法都无法有效地处理一类混合噪声:结构性的噪声加上稀疏的噪声。通过研究这类混合噪声的本质属性,本文使用两种矩阵分布来分别拟合它。基于以上两种分布,本文提出了两种稳健回归模型。第一个模型将混合噪声作为一个整体来对待,而第二个模型将这类混合噪声看成两种独立成分(即稀疏噪声成分和结构性噪声成分)的叠加。本文使用交替方向乘子法来优化上述两种模型。实验结果验证了我们算法的有效性。(4)本文提出了一种基于嵌套核范数的矩阵回归方法。该方法引入了一种嵌套结构的核范数来刻画具有空间相关性的矩阵变量,并且提供了一个统一框架来解决嵌套结构的核范数最小化问题。此框架在次梯度方法的基础上融入了一个加速策略和一个强迫下降步骤。本文分析了此方法的统计意义,并得出了一个重要结论:与F-范数或者核范数相比,嵌套的核范数能够更准确地反映矩阵变量的结构信息,因为它将矩阵变量的局部结构和全局结构融进统一的框架中。一些常见的范数都可以在我们所提出的嵌套结构下诱导出来。此外,我们将嵌套核范数最小模型应用于矩阵回归问题中。不同数据集上的实验验证了该方法的稳健性。(5)本文提出了一种基于树结构核范数的稳健图像回归方法。传统的结构性稀疏模型一般使用混合的(L1,L2)或者(L1,L∞)范数来约束一个向量或者矩阵变量。从统计学角度来讲,这两个范数无法刻画每一组内部的结构,因为他们无法消除元素之间的相关性。虽然核范数在一定程度上能够反映矩阵变量的结构信息,但它只强调了变量的全局结构却忽视了局部结构。为了利用结构性稀疏和核范数的各自优势,本文假设拥有树结构先验的表示余差是一个随机矩阵变量且服从一种依赖的矩阵分布。为了保证算法的收敛性,一种推广的交替方向乘子法用于解决所提出的模型。基于推广的限制等距常数,本文提供了一个有效的边界条件来确保该模型的精确恢复。此外,本文还将所提出的模型与近期的一些方法做了比较,例如,稀疏表示分类器,核-L1范数联合回归模型以及基于核范数的矩阵回归模型,这些方法都可看作我们方法的特殊情形。实验结果表明,在处理遮挡的人脸识别问题时该方法表现出了优越的性能,尤其是在人脸图像中存在块状遮挡时优势更加明显。(6)本文提出了基于非参数贝叶斯理论的相关组回归方法。大部分的稀疏贝叶斯模型一般使用独立的高斯分布作为噪声的先验知识。但由于实际中的噪声常具有空间结构性以及长尾属性,这种先验显然不可靠。为了适应更多类型的噪声,本文将将噪声图像分割成几个矩阵组并且采纳一种长尾分布,即矩阵高斯尺度混合分布,来建模每一组。在非参数贝叶斯估计的框架下,我们分别使用低秩诱导的分布和矩阵Gamma分布作为每一组协方差矩阵的先验,从而导出了两种非参数贝叶斯组相关回归模型。更重要的是,所提出的方法被推广到未知组结构的情形。该方法为自动地拟合噪声分布提供了一种有效途径。在建模中,它融合了实际噪声的长尾属性和结构信息。因此,所估计的系数可以更有效地重构理想的数据。我们将所提出的方法与近期的一些方法做了对比,它们都可看作我们方法的特殊情形。在分类器的设计中,本文使用所学习的协方差矩阵构建了一个分组的Mahalanobis距离来测量每类的重构余差。实验的结果证实该方法能够有效地处理带有实际噪声的图像分类问题。