核方法即为基于核的机器学习方法具有两个显著的特点：(1)在线性与非线性之间建立了一座桥梁,从而可以把求解线性问题的方法用于求解非线性问题；(2)核函数的引入巧妙地避免了维数灾难的问题,且并不增加计算复杂度。评价一个核函数模型好坏与否的一个重要标准就是核函数模型的稀疏性,因此建立一个稀疏的核函数模型是当今机器学习领域研究中的一个热点问题。目前核模型的建立主要有两种策略：凸优化法和贪婪法。采用凸优化法可以得到唯一的最优解,避免遇到局部最优解的问题,其代表有支持向量机,贪婪法求解问题的速度较快,其产生的最佳解决方案并不能保证为全局最优,只是整体最优或者接近整体最优。采用贪婪法的有核匹配追踪、投影追踪和正交最小二乘法等。在解决小样本、非线性和高维模式识别问题中支持向量机表现出了其优异的性能。同支持向量机相比,核匹配追踪的性能相当,但其具有良好的稀疏性和更低的计算复杂度。正交最小二乘法不仅具有简单、高效、并能产生具有线性权重非线性的模型的特点,还具有良好的泛化性能和稀疏性。目前绝大多数核函数模型中只采用了一种类型的核函数,但在实际情况中有些数据的结构并不相同,这种情况下只使用一种类型的核函数显然是不足的,针对这个问题本文提出了混合核模型。采用正交最小二乘法和混合核建立了回归模型,为了加快搜索的速度,采用重复加权推进搜索,重复加权推进搜索是一个简单而有效的全局优化搜索算法,由此建立的正交最小二乘的可调混合核函数模型具有良好的稀疏性和泛化能力。由于正交最小二乘法可调混合核函数模型是基于贪婪法的思想,得到的可能并不一定是全局最优解,为了更接近整体最优解,采用决策树的思想建立一个树型结构同时保留当前迭代的多个局部最优解来改进已经建立的正交最小二乘的可调混合核函数模型,以此达到局部最优解和整体最优解之间的一个平衡。采用树型结构建立的可调混合核函数模型与正交最小二乘的可调混合核函数模型相比,具有更好的稀疏性和泛化能力。