论文部分内容阅读
随着高维数据的急剧涌现,模式识别和机器学习领域面临着“维数灾难”问题的严峻挑战。降维是解决该问题一项必不可少的技术。其中,图驱动的降维方法近来已成为研究热点。对这些方法,图的构建是其核心。同时,判别子空间学习也是降维的一个重要研究方向,因为当给定了类或成对约束等先验知识时,依赖相应先验知识进行判别子空间学习通常能够提高后续分类的性能。基于此,本文研究了图的构建方法且将其用于无监督降维中并提出了一些判别子空间学习算法。本文的重要贡献在于:1.针对邻域图构建中邻域参数选择的困难,提出了样本依赖的图(Sample-dependent Graph, SG)构建方法。这种构建方法依赖于每个样本和样本对间的相似性来确定样本的近邻而无需预先设定近邻参数。由此,不仅避免了邻域参数选择的高昂代价而且通常能相对有效地拟合数据的本质结构。基于SG的该特性以及图驱动降维算法的流行性,将其与无监督局部保持投影算法相结合,从而提出了样本依赖的局部保持投影算法(SLPP)。在人脸识别等领域中,与基于传统邻域图构建的降维算法相比,SG和SLPP显示了有效性和可行性。2.在图驱动的无监督降维算法中,由于没有明确判别(Discrimination)信息,在图的构建中形成了一种所谓的伪装(Disguised)判别性。这种伪装判别性与真实类别的相容性(Consistency)则成了决定算法性能的关键。以无监督判别投影(UDP)为基础,研究了图驱动的无监督降维的伪装判别本质,相应算法对局部参数敏感的一个潜在根由以及所谓的伪装判别性与真实类别信息间不相容问题对图构建和预测性能的影响。所提出的理论能够对无监督学习中图的构建提供一定的指导并在人脸识别实验中得到证明。3.从散度矩阵的构建角度,建立了结构驱动的判别分析框架(Structurally Motivated framework for DA, SM)。该框架不仅涵盖了许多流行的判别分析算法,根据它们在散度矩阵中所涉及的结构粒度对其进行分类识别,而且能够为新算法的设计提供指导。通过对该框架所涉及的从类粒度到聚类粒度再到局部粒度结构谱的洞察发现,聚类粒度结构仍未被充分用于现有判别分析算法中。为此,发展了三个基于该粒度的判别分析算法SWDA、SBDA和SWBDA,将提出算法用于人脸识别等任务,验证了它们的有效性。4.支持向量机作为分类器的强大能力是众所周知的,然而在大间隔判别分析中它仅被用作特征抽取的“黑箱”,所抽取的特征却要用其它的分类算法如神经网络进行分类。显然,支持向量机的能力没有被充分利用。基于此,提出了一个由支持向量机诱导的嵌入式判别子空间学习算法。该算法将分类和降维统一于同一框架,由此实现了支持向量机分类和降维的相互促进。在标准数据集上验证了该算法的性能。5.提出了基于支持向量机和线性判别分析的判别降维算法。作为迭代学习算法,该算法在进行子空间学习过程中,不仅考虑了类间间隔信息,而且将类内信息引入其中。与大间隔判别分析相比,所学得的投影矩阵能够更有效地利用数据的内在信息来提高后续分类算法的性能。将其用于高维数据降维后分类中获得了较好的性能。