论文部分内容阅读
神经网络的输入数据中有时包含有一些无用的信息,我们称它们为冗余数据。如果包含有冗余数据,我们就需要把它们找出来,我们把这个过程称之为神经网络稀疏化问题。找出数据中的冗余项,我们就可以去掉这些数据。本文提出了把BP神经网络和正则化方法相结合的办法来解决神经网络稀疏化问题。正则化方法主要有L0正则化,L1正则化,L2正则化和L1/2正则化。由于L0正则化的问题比较困难,难以推广和应用;L2正则化的稀疏性比较差,对于找出冗余数据没有什么帮助。因此,我们主要采用把BP神经网络和L1正则化方法相结合及BP神经网络和L1/2正则化方法相结合的方法来解决问题。该方法运用梯度下降法来更新权值,训练网络,最后得到一个较为稳定的结果。最后,我们在一个逼近问题和一个分类问题上进行数值实验,实验表明,我们的方法能够解决神经网络稀疏化问题。