核方法作为机器学习领域中一类重要的非线性方法,广泛地应用在分类、回归、聚类、降维等诸多问题中。目前关于核方法研究的关键是在于如何设计出或学习到更灵活的核函数,用以描述数据的分布特性。本文工作围绕核学习展开,主要从非参数核学习、非正定核学习、核近似问题三个方面进行研究,涵盖了学习算法的逼近理论研究、相似性学习的算法研究以及在目标跟踪领域中的应用研究。研究成果主要集中在以下几个方面:在非参数核学习方面,本文提出了一种基于数据自适应的非参数核学习框架,对预先给定的核矩阵直接施加一个数据自适应矩阵,采用优化的方式灵活地学习到该矩阵的每一个元素,从而得到一个相当灵活的非参数核矩阵。该核学习框架可嵌入至支持向量机（support vector machines,SVM）与支持向量回归（support vector regression,SVR）模型中,用于分类与回归问题,可有效地增加类别之间的间隔并减小模型的泛化误差。针对该优化问题的求解,本文论证了目标函数的梯度是Lipschitz连续的,从而将核学习的训练过程与SVM/SVR中参数优化统一至一个求解框架中。此外,针对非参数核的核近似问题,本文拓展了基于分解的子问题求解策略,使其能够适用于大规模情形。实验结果验证了本文非参数核学习模型的灵活性以及核近似算法的有效性。上述非参数核学习框架灵活地学习到样本之间的相似性值,但无法得到核函数的具体形式,很难用于新样本的预测。针对于这种新增样本扩张（out-of-sample extensions）问题,本文旨在从任意给定的核矩阵中学习得到潜在的核函数,将核函数学习的问题转化为hyper-RKHS（reproducing kernel Hilbert spaces）上的正则化回归问题,提出了两种回归算法进行求解。在学习理论方面,本文研究hyper-RKHS上正则化学习算法的逼近分析,并给出了相应的学习率结果。实验结果表明,本文所提出的算法可以从任意给定的核矩阵中学习得到潜在的核函数,取得了较好的实验结果。考虑到我们无法预测新增样本扩张算法所学到的潜在核函数的正定性（正定或非正定）,因此本文专门对非正定核学习展开研究,提出了再生核Kre??n空间（reproducing kernel Kre??n spaces,RKKS）上基于非正定核的逻辑斯蒂回归模型。由于非正定核的引入,该模型本质上为非凸的。利用非正定核的正定分解,可以将该模型拆分为两个凸函数之差的形式,进而采用凹凸规划（concave-convex procedure,CCCP）进行求解。由于凹凸规划在每一次迭代中均需要求解一个优化子问题,本文提出了一种非精确求解的凹凸规划算法,加速算法求解,并给出理论保证。在学习理论方面,针对非正定核学习算法的学习率问题,本文修正了传统的误差分解技术,给出了RKKS上基于最小二乘的正则化回归算法的逼近分析结果。实验结果表明所提出非精确求解的非凸优化算法非常高效,应用至基于非正定核的逻辑斯蒂回归模型中,在一些典型的分类数据集上也取得了令人满意的效果,分类准确率相比于精确求解方式并未发现较大的下降。非正定核学习算法均涉及到对核矩阵进行特征值分解,很难将其拓展至大规模数据上。然而传统的基于随机傅里叶特征的核近似算法要求核函数具有平移不变性以及正定性,无法适用于多项式核等点乘核以及非正定核的近似问题。因此,本文提出了一种基于狄利克雷混合过程的双变分推断模型用于以上多项式核函数、非正定核函数的随机特征近似。在随机特征的概率分布上给一个狄利克雷过程作为先验,使得该模型框架能够灵活地逼近任意一个核函数。在模型推断过程中,本文所采用的推断方式结合了随机变分推断以及非共轭变分推断的优点,因此参数估计可以高效地进行。实验结果表明,本文所提出的核近似模型能够有效地对任一核函数进行逼近。此外将其应用至分类问题上,在若干大规模数据集上均取得了较好的结果。基于上述核学习研究基础,本文将核方法方面的研究应用至计算机视觉领域中的目标跟踪问题上,提出了一种基于核化版本的多重字典非负编码模型。该模型利用核映射,将字典以及候选样本映射至高维空间中,无需要求候选样本应由字典线性表示这一较强的假设条件,可以更为准确地对目标表观模型进行建模。为了提升编码系数对目标刻画的能力,本文提出了一种多字典集成机制来全面地描述目标外观变化特性,其中多个字典相应的权重可以自适应地学到。权重向量的求解与编码系数的求解可统一至一个优化框架中。在局部编码过程中,本文采用?₂正则项代替非负约束,从理论上给出了这种替换成立的条件,可使得优化算法的求解更为高效。实验结果一方面验证了这种替代机制的合理性与有效性,另一方面在目标跟踪标准数据集上全面地验证了本文所提出的跟踪算法的鲁棒性。