论文部分内容阅读
支持向量机是近几十年来在机器学习方向最重要的进展之一。它从一开始出现就因其十分优秀的分类能力得到了众多国内外研究学者的关注。现今为止已经被应用到许许多多的领域发挥着巨大的作用。因此各类支持向量机的求解算法也成为了广大学者的研究重点。特别是顺序最小优化算法更是受到广泛的关注。顺序最小优化算法具有优美的二次规划表达,从而避免了对空间过大的需求,使实现支持向量机的过程变得简单而高效。但是即便如此,顺序最小优化算法本身的效率提升问题也是现今研究的重点。本文在传统的顺序最小优化算法的基础上,分别通过大量实验借助目标函数值和间隔值的变化对支持向量机以及顺序最小优化算法的求解过程进行了深入地分析,并且根据分析结果对算法求解过程中的停止条件进行了改进。改进过程中对目标函数值和间隔值变化曲线进行了平滑处理,统计数据来对两种改进后的顺序最小优化算法的效果进行衡量,且进一步采用交叉验证的方法验证改进算法的结果。本文的研究工作主要包括:(1)依据传统的顺序最小优化算法推导出目标函数值及间隔值的表达式,并编写相应代码,能够分别输出目标函数值以及间隔值随迭代次数变化的数据。对代码改进后的传统的顺序最小优化算法过程进行大量实验研究,借助目标函数值和间隔值观察过程中的每一个量的变化情况。(2)实验过程中对目标函数值和间隔值的变化曲线分别进行平滑处理,并用更具形象曲线变化的方式表现其变化过程。发现目标函数值和间隔值随迭代次数变化的规律:目标函数值及间隔值随迭代次数的变化类似均呈铰链函数形态,有一个明显的拐点,在一定的迭代次数后(即拐点后)目标函数值在很长的一段时间里变化甚微,在目标函数值的变化过程中甚至出现微小的升降波动现象。(3)对传统的顺序最小优化算法进行过程改进。分别进行了目标函数值辅助的顺序最小优化算法改进以及间隔值辅助的顺序最小优化算法改进。根据目标函数值以及间隔值的曲线形态,找到一个可以提前终止训练避免后期无效率训练同时又对训练的正确率影响不大的停止标准,完成改进代码的编写。(4)分别对两个改进后的顺序最小优化算法进行实验,统计数据,并从训练效率以及测试的正确率方面对改进算法和传统算法的实验结果进行比较将。同时采用比较权威的交叉验证的方法进行训练效率和模型预测能力的进一步比较,综合分析改进后算法的训练效果。通过大量的实验分析验证,本文所采取的新改进的间隔值和目标函数值辅助的顺序最小优化改进算法在训练效率和模型预测能力比教优越,同时本文两种改进算法比较来看,间隔值辅助的顺序最小优化算法对训练效率的提升更显著。