论文部分内容阅读
模型组合旨在融合并利用假设空间中的多个模型,提高学习系统的可靠性和泛化性.目前,基模型产生通常基于训练样本集采样,实现过程比较复杂;模型组合一般利用全模型集合,确定参与组合的模型时未考虑新数据的分布;理论研究方面,缺乏模型组合一致性的工作.针对这些问题,研究基于正则化路径的支持向量机(Support Vector Ma-chines, SVM)模型组合,证明正则化路径上SVM模型组合一致性,设计有效的SVM模型组合算法.主要研究内容包括:1.应用正定矩阵Cholesky分解方法,分别提出二分类SVM正则化路径算法PDSVCPath和回归SVM正则化路径算法PDSVRPath基于正定矩阵的SVM正则化路径算法可有效解决训练样本集中包含重复数据、近似数据或线性相关数据的问题.2.给出SVM模型组合一致性充分条件,证明正则化路径上二分类SVM模型组合的Lh-风险一致性及回归SVM模型组合的Lε-风险一致性,奠定正则化路径上的SVM组合方法的理论基础.3.设计基于正则化路径的三步式SVM贝叶斯组合.首先,基于SVM正则化路径分段线性性质构建初始模型集;然后,应用模型集修剪策略获得候选模型集,修剪策略包括通用于二分类SVM和回归SVM的Occam窗口方法、适用于二分类SVM的平均GACV准则和适用于回归SVM的平均GCV准则;最后,根据新输入由最小近邻法确定最终组合模型集,并实现贝叶斯组合预测.基于正则化路径的三步式SVM贝叶斯组合基础扎实,易于实现,具有更好的计算效率和预测性能.