基于正则化相关熵的极端学习机

来源 :河北大学 | 被引量 : 0次 | 上传用户:itismewhq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
极端学习机是一种单隐含层前馈神经网络。与传统的前馈神经网络相比,极端学习机具有更优的泛化能力,同时极大地缩短了网络的训练时间。然而,极端学习机仍存在一些不足之处,如网络的不稳定性及对噪声的敏感性。上述两个缺点降低了极端学习机的学习能力。本文提出了两种基于正则化相关熵的极端学习机,主要贡献包括:1.提出了基于L2范数正则化相关熵的极端学习机。所提方法利用相关熵准则替代均方误差准则(MSE),提高极端学习机的抗噪声能力,同时在目标函数中引入基于L2范数的正则化项,进一步提高了网络的稳定性及抗噪声性。此外,利用半二次优化技术求取所建立优化模型的最优解。该优化方法等价于加权最小二乘法,能有效地降低异常点的影响。2.提出了基于L1范数正则化相关熵的极端学习机。所提方法在采用相关熵准则的基础上引入基于L1范数的正则化项。针对所提方法中L1范数正则化项难优化的问题,利用替代函数思想简化目标函数,进而,使用半二次优化技术求取所建立模型的最优解。此外,利用贝叶斯理论框架对模型中超参数进行自适应估计。实验结果表明,所提两种改进方法均能提高极端学习机的泛化能力和抗噪声能力。
其他文献
在线社交网络(Online Social Network,OSN)作为信息化社会不断发展的产物,将线下生活更完整的信息流转移到线上进行低成本管理,让虚拟社交越来越与现实世界的社交出现交叉。
共轭梯度算法是求解无约束最优化问题的主要方法之一,由于其具有计算简单并且存储量小等特点,十分适合求解大规模无约束优化问题.算法的收敛性在衡量算法的有效性方面起着十分
在分形中,测度与维数的估计和计算是十分重要也非常困难的问题.目前为止,除了少数特殊分形的测度与维数被计算出来(如均匀康托集[1]),大部分分形的测度与维数的计算仍然是需要解决
摘 要:结垢是油田开发过程中遇到的最常见的问题之一,影响结垢的因素很多,如压力、温度、流速、矿化度、pH值等多种因素,通过大量试验,分析出了KD403-X9油井形成垢质的主要原因,,为今后防垢方式模式的建立,奠定了基础。  关键词:电泵结垢 结垢分析 水质配伍  结垢是油田开发过程中遇到的最常见的问题之一,影响结垢的因素很多,如压力、温度、流速、矿化度、pH值等多种因素,其中一个重要的因素是油田水
本文运用上下解方法与单调迭代技巧,研究了二阶多时滞微分方程周期解的存在性与唯一性。  本文的主要结果如下:  一.借助于相应的二阶线性微分方程周期解的存在唯一性定
随着数字化技术的迅猛发展,通过计算机实现控制算法的采样控制技术已经成为自动控制领域的研究热点.为应对网络拥塞、器件故障等不利因素,运用变采样技术成为网络控制常见的调
形式概念分析是以数学化的概念和概念层次为基础的数学领域,它激发了人们对概念数据分析和知识处理的数据思考。形式概念分析是应用格理论的一个分支,本文第一、二章概括介绍了