支持向量机是九十年代中期发展起来的一种新的机器学习技术,它是以统计学习理论为基础,重点研究在小样本条件下的统计规律和学习方法。相对于传统的以足够多的样本数为前提的统计学,它具有很多的优点,能够在样本容量有限的情况下取得比较理想的效果,很好地解决了小样本、非线性、局部极小值等实际问题,成为近代学者们研究的热点。系统辨识是现代控制理论一个相当重要的部分,其应用非常广泛。传统的辨识方法如极大似然法、最小二乘法等在线性系统中的应用已经相当成熟,但是对于具有明显的非线性特性的对象,用线性模型是无法描述对象的特征的。新发展起来的神经网络亦有许多不足[ 25 - 29],所以本文针对支持向量机与最小二乘法的优缺点提出了K-LSE算法。本文首先比较系统地介绍了统计学习理论支持向量机的基本原理,重点讨论了支持向量机的核变换思想。其次介绍了经典的最小二乘估计理论,并在支持向量机核变换思想的基础之上通过理论推导,提出了K-LSE算法,并从直观上给出了它的几何意义。K-LSE方法实际上是支持向量机和最小二乘法的有机结合。实验仿真说明了我们提出的方法在复杂非线性函数拟合中的有效性与优越性。最后针对控制理论中常见的系统辨识问题,提出了K-LSE系统辨识方法,通过实验仿真说明新提出的K-LSE算法在动态系统辨识中很好地实现了最小二乘法与SVR的优点,克服了他们各自的缺点,从而说明K-LSE方法在系统辨识中相对于标准支持向量机回归算法及经典最小二乘法所具有的优越性。