特征抽取和分类是模式识别领域的两大热点,其主要任务是根据样本图像中的有效信息进行个体的类别识别。本文以代数统计为研究工具,在子空间学习的基础上,提出了新的特征抽取及分类方法,并将其与现阶段的主流方法进行了比较,验证了本文方法的有效性。本文的主要工作集中在以下几个方面：(1)提出稀疏Fisher线性鉴别分析算法。利用最小二次优化问题与Fisher线性鉴别分析在两类模式的识别问题上的等价性,从求解最小二次优化问题获得稀疏Fisher线性鉴别投影。所获得的稀疏Fisher线性鉴别投影可帮助我们从变量层面上发现是哪些变量在我们的鉴别过程中起了核心作用,这些变量对应着哪些物理功能等,从而使我们对数据有更深层次的理解。另外,由于稀疏Fisher鉴别投影从求解最小二次优化问题得到,因此避免了对特征方程的求解,这在很大程度上减少计算的花销。除此之外,稀疏鉴别向量比紧致的鉴别向量所需的存贮空间也更少。(2)提出了处理单样本识别问题的局部图嵌入鉴别分析算法。从单样本识别问题存在的不足入手,作了以下两方面进行尝试：一是利用均值滤波器增加训练样本,以缓解训练样本不足的问题；二是考虑数据的局部信息,利用图嵌入对数据的局部结构进行刻画。综合以上两方面,所设计的局部图嵌入鉴别分析算法很好地避免了“小样本问题”的出现,这对提高系统的识别性能和稳定性有很大的帮助。(3)提出了去相关局部保持投影算法(RLPP)。在局部保持投影(LPP)算法基础上,利用递归的方法,逐一得到去相关的鉴别投影。与现有的不相关局部保持投影不同,所提出的RLPP从另外的角度给出了去相关鉴别投影的求解方法,这一方法简单且有效,可作为其它算法发展去相关鉴别投影的借鉴。(4)提出了基于统一度量的特征抽取与分类器设计的一体化框架。从分类器出发,利用其有效的分类度量,设计出与之相匹配的特征抽取算法。以正则化K局部超平面最近距离分类器(RHKNN)为例,我们提出了与RHKNN相匹配的局部鉴别分析算法(HOLDA)。RHKNN+HOLDA作为这一框架下发展而来的识别系统,对整体识别性能的提高有很大的帮助。(5)提出了模糊相似近邻分类器(FSNC)。FSNC引入了“模糊集”理论,从数据间的“相似度”出发,对未知测试样本的类别隶属度作了具体量化,依据量化的结果给出分类的判断。在“相似近邻”的寻找上,借助了非负稀疏表示算法的优势,自动获取到“相似近邻”及其“相似度”,这在很大程度上减少了由人为因素对系统造成的负面影响,使FSNC的分类结果更确实可信。(6)提出了核Hilbert空间下的正则化线性回归分类器。算法主要对线性回归分类器(LRC)作了以下两方面的改进：一是对其原有的度量作了L1-范数的正则化处理,使得正则化后的LRC度量更具可靠性,这很好地提高LRC的分类性能；二是对正则化的LRC作核化拓展,使得在原空间线性不可分的数据样本,在核Hilbert空间下更具可分性。由于对LRC施加了L1-范数正则化约束,因此在没获得确切投影函数的基础上,要完成核化处理,并非件易事。然而,我们借助核技巧和微积分理论,成功化解了难题,完成了带L1范数约束的最小二次优化问题的核化扩展。