基于统计学习的模式识别方法是人工智能的一个重要研究领域。目前,统计模式识别已经得到了较深入的研究,一些相关技术成果已成功高效地应用于各种不同的领域。虽然如此,其中依然面临着许多的挑战,许多问题都还需要进步的深入探索和研究,特征降维和核方法就是其中倍受关注的两个重要主题。本课题就其中的几个关键挑战进行了相关的研究,所研究内容主要由四个部分,分述如下。第一部分由第二章组成。在这一部分中我们针对监督局部保持特征提取SLPP算法的小样本问题,提出了推广的监督局部保持特征提取GSLPP算法。在小样本情况下,GSLPP算法定义的优化问题可以等价的转换到一个低维空间中来求解,从而有效的克服了小样本问题。而且,在大样本情况下GSLPP算法等价于SLPP算法。第二部分由第三章和第四章组成。在这一部分内容中,我们主要讨论了最小类方差支撑向量机MCVSVM算法的改进问题。针对MCVSVM缺少考虑数据的局部结构信息的问题,在第三章中我们提出了最小局部保持类方差支撑向量机MCLPVSVM算法。该算法不但继承了传统支撑向量机SVM和MCVSVM的优点,同时又充分利用了数据的内在的几何结构信息,从而实现了泛化能力的进一步提高。同时在这一部分内容的第四章中,针对MCVSVM算法在小样本数据情况下仅利用了类内散度矩阵非零空间中的信息的问题,我们讨论了利用类内散度矩阵零空间中的信息来提高其泛化能力的问题,即首先在零空间中建立一种新的分类器-NSC,然后再把MCVSVM和NSC进行融合,从而进一步提出了集成分类器-EC。在EC算法中,综合利用类内散度矩阵非零空间和零空间中的信息来进一步提高分类性能,表现出了更强的泛化能力。第三部分由第五章组成。在这一部分内容中,我们依据支撑向量回归SVR回归算法可以通过构建SVM分类问题实现的基本思想,把MCVSVM分类算法推广到回归估计中,进而提出了最小方差支撑向量回归MVSVR回归算法。MVSVR继承了MCVSVM鲁棒性和泛化能力强的优点,同时其还可转化为一个标准的SVR问题来求解,并且在散度矩阵奇异情况下可以等价转换到新的数据空间中求解。第四部分由第六章组成。在这一部分内容中我们从理论上详细分析了支撑向量数据域描述SVDD算法的原始优化问题最优解的性质。我们首先把SVDD定义的原始优化问题等价转化为一个凸约束二次优化问题,然后从理论上证明了根据优化问题最优解所构建的超球圆心具有唯一性,然而超球半径在一定条件下却存在不唯一性,并且给出了半径存在不惟一性的充分必要条件。我们还从对偶优化问题的角度分析了超球的圆心和半径性质,并且给出了SVDD算法中在根据优化问题最优解构建超球半径不唯一情况下计算超球半径方法。本文的主要内容概括起来讲,第一部分探讨了特征降维问题,第二至第四部分探讨了核方法问题。