论文部分内容阅读
前馈神经网络中最常见的一种学习算法为误差反向传播算法(Back Propagation,BP),因此也称BP网络.BP网络虽然应用广泛,但却有一个缺点.实际应用中,常常没有一个很好的准则来选取网络结构中隐层节点数,而只能根据经验来大致给出.我们知道,隐藏层节点个数对确定神经网络的结构至关重要,使用过多的隐层节点,尽管学习训练样本的精度会相对提高,但却会导致过拟合的问题,网络泛化能力会降低,而且学习训练样本的时间也会大大增加,学习效率变低;而使用过少的隐层节点,又会有不足以学习训练样本的风险,学习训练样本的误差可能会增大.因此,对一个给定训练样本的具体问题,合适地确定相应的神经网络隐层节点数是必要的,我们要解决的就是这一问题.针对此问题,我们在之前的误差极小化模型中添加L1/2:正则化项,建立非线性的L1/2:正则化模型.基于线性L1/2:正则化模型的迭代半阈值算法,我们提出了求解此非线性L1/2:正则化模型的阈值算法,并给出了一定条件下算法的收敛性证明.利用此阈值算法,可以求得相应网络权值的稀疏解.本文先介绍求解线性L1/2:正则化模型的迭代半阈值算法,详细叙述了其推导过程,然后给出求解非线性L1/2:正则化模型的阈值算法.将此非线性L1/2:正则化模型应用于只含有一个隐藏层的三层BP网络的函数逼近中.对于给定的训练样本,根据提出的求解非线性L1/2:正则化模型的阈值算法,求得相应网络权值的稀疏解.由网络权值是否为零,确定网络结构中神经元之间是否有连接,权值为零则意味着相应的连接可以去掉.如果没有任何其它神经元与隐节点连接,即该隐节点在网络结构中不起作用,则可以删掉此隐节点.由此即可确定相应问题对应的恰当的隐层节点数.通过数值实验我们可以看出,此模型对有噪声的训练样本数据拟合较好.跟传统的最速下降法比较,学习的精度基本一致,但所需的隐层节点数却明显变少.由文中的理论分析和数值实验结果,我们可以认为所提出的带L1/2:正则化项的非线性模型能解决BP网络的中的隐节点个数不能定量给出的问题.