论文部分内容阅读
极端学习机是一种单隐含层前馈神经网络。与传统的前馈神经网络相比,极端学习机具有更优的泛化能力,同时极大地缩短了网络的训练时间。然而,极端学习机仍存在一些不足之处,如网络的不稳定性及对噪声的敏感性。上述两个缺点降低了极端学习机的学习能力。本文提出了两种基于正则化相关熵的极端学习机,主要贡献包括:1.提出了基于L2范数正则化相关熵的极端学习机。所提方法利用相关熵准则替代均方误差准则(MSE),提高极端学习机的抗噪声能力,同时在目标函数中引入基于L2范数的正则化项,进一步提高了网络的稳定性及抗噪声性。此外,利用半二次优化技术求取所建立优化模型的最优解。该优化方法等价于加权最小二乘法,能有效地降低异常点的影响。2.提出了基于L1范数正则化相关熵的极端学习机。所提方法在采用相关熵准则的基础上引入基于L1范数的正则化项。针对所提方法中L1范数正则化项难优化的问题,利用替代函数思想简化目标函数,进而,使用半二次优化技术求取所建立模型的最优解。此外,利用贝叶斯理论框架对模型中超参数进行自适应估计。实验结果表明,所提两种改进方法均能提高极端学习机的泛化能力和抗噪声能力。