支持向量机SMO算法的改进研究

来源 :山东师范大学 | 被引量 : 0次 | 上传用户:liubin523
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
支持向量机是近几十年来在机器学习方向最重要的进展之一。它从一开始出现就因其十分优秀的分类能力得到了众多国内外研究学者的关注。现今为止已经被应用到许许多多的领域发挥着巨大的作用。因此各类支持向量机的求解算法也成为了广大学者的研究重点。特别是顺序最小优化算法更是受到广泛的关注。顺序最小优化算法具有优美的二次规划表达,从而避免了对空间过大的需求,使实现支持向量机的过程变得简单而高效。但是即便如此,顺序最小优化算法本身的效率提升问题也是现今研究的重点。本文在传统的顺序最小优化算法的基础上,分别通过大量实验借助目标函数值和间隔值的变化对支持向量机以及顺序最小优化算法的求解过程进行了深入地分析,并且根据分析结果对算法求解过程中的停止条件进行了改进。改进过程中对目标函数值和间隔值变化曲线进行了平滑处理,统计数据来对两种改进后的顺序最小优化算法的效果进行衡量,且进一步采用交叉验证的方法验证改进算法的结果。本文的研究工作主要包括:(1)依据传统的顺序最小优化算法推导出目标函数值及间隔值的表达式,并编写相应代码,能够分别输出目标函数值以及间隔值随迭代次数变化的数据。对代码改进后的传统的顺序最小优化算法过程进行大量实验研究,借助目标函数值和间隔值观察过程中的每一个量的变化情况。(2)实验过程中对目标函数值和间隔值的变化曲线分别进行平滑处理,并用更具形象曲线变化的方式表现其变化过程。发现目标函数值和间隔值随迭代次数变化的规律:目标函数值及间隔值随迭代次数的变化类似均呈铰链函数形态,有一个明显的拐点,在一定的迭代次数后(即拐点后)目标函数值在很长的一段时间里变化甚微,在目标函数值的变化过程中甚至出现微小的升降波动现象。(3)对传统的顺序最小优化算法进行过程改进。分别进行了目标函数值辅助的顺序最小优化算法改进以及间隔值辅助的顺序最小优化算法改进。根据目标函数值以及间隔值的曲线形态,找到一个可以提前终止训练避免后期无效率训练同时又对训练的正确率影响不大的停止标准,完成改进代码的编写。(4)分别对两个改进后的顺序最小优化算法进行实验,统计数据,并从训练效率以及测试的正确率方面对改进算法和传统算法的实验结果进行比较将。同时采用比较权威的交叉验证的方法进行训练效率和模型预测能力的进一步比较,综合分析改进后算法的训练效果。通过大量的实验分析验证,本文所采取的新改进的间隔值和目标函数值辅助的顺序最小优化改进算法在训练效率和模型预测能力比教优越,同时本文两种改进算法比较来看,间隔值辅助的顺序最小优化算法对训练效率的提升更显著。
其他文献
随着社会信息化进程加快和计算机识别等技术的迅速发展,如何创建更具有真实感的三维人脸模型成为了一个非常具有挑战性的问题。三维人脸模型的重建在虚拟现实、视频监控、三
位置采集技术的日益普及(如GP书,GSM网络等)促进了我们对空间-时间数据的大规模采集,从而为发现珍贵的关于用户移动位置的信息带来了新的机遇。首先,这些大量的空间-时间信息
随着互联网技术的迅猛发展,各种信息铺天盖地的呈现在我们面前,在这些海量信息中检索出自己感兴趣的信息越来越难,出现了所谓的“信息超载”现象。个性化推荐技术是解决这个问题
当今社会,人们需要处理的打印文字材料越来越多,这其中包括合约、保密资料等重要文件,一些企事业单位出现了内部人员将机密资料打印带出,造成了机密信息的泄露,给企事业单位带来不
随着网络技术的飞速发展和信息的爆炸式增加,网络规模不断增大,网络环境日益复杂,支持移动计算、云计算和泛在计算的分布式系统得到了广泛的发展和应用,为不同软、硬件平台的资源
随着物联网的快速发展以及各行各业新需求的不断涌现,物联网终端所需要实现的功能不仅越来越多也越来越复杂。然而,目前数据采集类的物联网终端采集功能定位单一,造成开发生产过程中重复性劳动增多,效率低下。因此,对于数据采集类的物联网终端,开发一套完整、高效、扩展性好、实时性强,面对不同的采集情景都适用的多总线采集嵌入式实时系统的要求十分迫切,这也对提高企业的经济效益,推动国家物联网产业的迅速发展具有十分重
学位
随着多媒体技术的高速发展,越来越多的复杂算法,包括图像处理算法,图像压缩算法等用软件来执行已经不能满足实时系统对于算法执行效率和速度的要求。因而,算法的硬件化越来越受到
射频识别技术是一项自动识别技术,它通过磁场或电磁场,利用无线射频方式进行非接触双向通信,以达到识别目的。射频识别技术具备多项优势主要包括:很强的环境适应能力、非接触式读
伴随着大数据时代的到来,计算机科技的不断创新和网络信息交流日盛,我们的生产生活方式每天都在发生变化,出现了各种各样新颖的信息产生方式和前所未有的获取途径,其中海量的
数据挖掘技术是一种从海量数据中获取有用信息与知识的有效手段,是多门学科融合的结晶,具有重要的实用价值和广阔的应用前景。数据挖掘技术在蓬勃发展的同时也面临着挑战,传统的