统计学习理论建立在结构风险最小化原则基础上,它是专门针对小样本情况下的机器学习问题而建立的一套新的理论体系。基于统计学习理论的支持向量机算法具有理论完备、全局优化、适应性强、推广能力好等优点,是机器学习研究的新热点。它在最小化经验风险的同时,有效提高了算法的泛化能力,具有良好的应用价值和发展前景。目前,支持向量机已被成功地应用于文本分类、手写体识别、人脸识别、图像分类等许多实际领域。 介绍了论文的研究背景,统计学习理论的发展和支持向量机的研究进展及论文的主要内容。并对统计学习理论和支持向量机做了简单的介绍,如VC维、结构风险最小化原则、学习过程的一致性等。在此基础上系统地研究了支持向量机的各种分类算法的求解方法,主要有C-SVC,v-SVC,选块法,分解法,序列最小优化法等,还比较和分析了多类分类器的构造方式。通过对各种算法的分析,为进一步提出新的支持向量机算法提供了理论基础。 将随机抽取方法应用于SVM分类问题中,对已有的SVM算法进行改进,提出了一种基于随机抽取的改进SVM算法。将SVM分类分解成两个步骤,首先通过随机抽取样本集快速获得潜在支持向量,然后通过SVM训练获取最终支持向量。随机抽取能够降低SVM对应QP问题的规模,有效的缩短学习时间,并通过多次训练来加强有用信息的提取。提出的改进算法对支持向量数目相对较大的SVM分类问题,还能有效减少支持向量数目,提高了算法的泛化性能。 粒度计算能从适当的层次快速获得问题的精确接或近似解,因而将商空间粒度理论应用于SVM分类问题,提出了一种新的改进算法--SVM-G。该算法将分类样本空间进行“由粗到精”的划分,也即采用分层递阶的方法,将SVM分类中QP求解问题分解成两个或更多个子QP问题,降低SVM分类复杂度。改进后算法适于处理大数据量的样本,能在保持分类精度的情况下,有效地提高支持向量机的学习和分类速度。