带二分之一正则化项的BP网络算法

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:FLEXCN
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
前馈神经网络中最常见的一种学习算法为误差反向传播算法(Back Propagation,BP),因此也称BP网络.BP网络虽然应用广泛,但却有一个缺点.实际应用中,常常没有一个很好的准则来选取网络结构中隐层节点数,而只能根据经验来大致给出.我们知道,隐藏层节点个数对确定神经网络的结构至关重要,使用过多的隐层节点,尽管学习训练样本的精度会相对提高,但却会导致过拟合的问题,网络泛化能力会降低,而且学习训练样本的时间也会大大增加,学习效率变低;而使用过少的隐层节点,又会有不足以学习训练样本的风险,学习训练样本的误差可能会增大.因此,对一个给定训练样本的具体问题,合适地确定相应的神经网络隐层节点数是必要的,我们要解决的就是这一问题.针对此问题,我们在之前的误差极小化模型中添加L1/2:正则化项,建立非线性的L1/2:正则化模型.基于线性L1/2:正则化模型的迭代半阈值算法,我们提出了求解此非线性L1/2:正则化模型的阈值算法,并给出了一定条件下算法的收敛性证明.利用此阈值算法,可以求得相应网络权值的稀疏解.本文先介绍求解线性L1/2:正则化模型的迭代半阈值算法,详细叙述了其推导过程,然后给出求解非线性L1/2:正则化模型的阈值算法.将此非线性L1/2:正则化模型应用于只含有一个隐藏层的三层BP网络的函数逼近中.对于给定的训练样本,根据提出的求解非线性L1/2:正则化模型的阈值算法,求得相应网络权值的稀疏解.由网络权值是否为零,确定网络结构中神经元之间是否有连接,权值为零则意味着相应的连接可以去掉.如果没有任何其它神经元与隐节点连接,即该隐节点在网络结构中不起作用,则可以删掉此隐节点.由此即可确定相应问题对应的恰当的隐层节点数.通过数值实验我们可以看出,此模型对有噪声的训练样本数据拟合较好.跟传统的最速下降法比较,学习的精度基本一致,但所需的隐层节点数却明显变少.由文中的理论分析和数值实验结果,我们可以认为所提出的带L1/2:正则化项的非线性模型能解决BP网络的中的隐节点个数不能定量给出的问题.
其他文献
设G为有限p群。 若G的指数为p2的子群全交换且存在一个指数为pt-1的子群不交换,则称G为At群。 有一个极大子群是群的有限p群称为Al群。本文给出了至少有两个极大子群是Al子群
许多中年以上的人,对《为人民服务》可以说是耳熟能详。1944年9月8日,毛泽东发表了《为人民服务》,纪念张思德,弘扬张思德的精神,号召我们党所领导的革命队伍树立这种为人民
本文主要研究对象是基于p.Hall iscolinsim族p6阶的第一至第十家族群(Φ1-Φ10)上的有限非循环p-群.对于有限p-群的自同构群的阶的最佳下界的估计,有一个非常著名的猜想,即LA-猜
Weibull分布是可靠性研究领域中应用最广泛的一种统计分布模型,而三参数Weibull分布是Weibull模型中对数据适应能力最强、拟合效果最好的。但是由于该分布模型和正态分布、两
若G是阶大于p2的有限非循环p-群,则群G的阶是群G的自同构的阶的因子,这就是著名的LA-猜想,而满足LA-猜想的群叫LA-群.本文主要研究中心商等于P.Hall iscolinsim族2011家族的
计算机辅助设计(Computer Aided Design,CAD)技术是一种应用计算机系统对产品进行分析、优化和修改的设计技术.  SDRC公司提出了变量化设计、参数化设计,它们是CAD技术的主要
本论文对于Hamilton算子理论进行了多方面的研究,得到了一些相应的结果.  一.建立了无界2×2算子矩阵的乘法运算和伴随运算的一般法则,得出了算子矩阵自伴的充分必要条件.对
流动党员存在的现状在流动人才和劳动力队伍中,有相当一部分共产党员,他们被称为“流动党员”。调查结果显示,德阳市直机关各级党组织以及和市直机关各级党组织有一定工作关
有限P群G的指数为沪的子群称为G的&极大子群. d(G)表示G的极小生成系中元素的个数,知(G)表示G的不含Frattini子群的k极大子群的个数.当k= l,d(G)- I和d( G)时,本文给出了 Sk(
模型和变量(特征)选择是现代统计学中最重要的问题之一。本文比较了-元线性回归模型中变量选择的Lasso方法及其相关方法的优良性,并提出了一个新的求解Lasso估计的算法——随