正则化方法解决神经网络稀疏化问题

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:a53479051
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
神经网络的输入数据中有时包含有一些无用的信息,我们称它们为冗余数据。如果包含有冗余数据,我们就需要把它们找出来,我们把这个过程称之为神经网络稀疏化问题。找出数据中的冗余项,我们就可以去掉这些数据。本文提出了把BP神经网络和正则化方法相结合的办法来解决神经网络稀疏化问题。正则化方法主要有L0正则化,L1正则化,L2正则化和L1/2正则化。由于L0正则化的问题比较困难,难以推广和应用;L2正则化的稀疏性比较差,对于找出冗余数据没有什么帮助。因此,我们主要采用把BP神经网络和L1正则化方法相结合及BP神经网络和L1/2正则化方法相结合的方法来解决问题。该方法运用梯度下降法来更新权值,训练网络,最后得到一个较为稳定的结果。最后,我们在一个逼近问题和一个分类问题上进行数值实验,实验表明,我们的方法能够解决神经网络稀疏化问题。
其他文献
Morse理论自从20世纪20年代由H.Morse提出以来,有了长足的发展。经典的Morse理论给出了光滑流形的拓扑性质及其上Morse函数的非退化奇异点之间的相互关系。20世纪50年代,Smale
本文致力于研究可压缩理想流体在管道内定常流动时产生的一类跨音速激波的适定性问题. 利用管道输运流体以及控制流体的运动,在生产、生活和国防等方面有着广泛而重要的应用
半参数模型由于能够在简约性与灵活性之间达到良好的平衡,所以经常被用于生存数据的分析.本文研究一类带有变系数的部分线性模型.其中,我们利用样条基函数近似的方法来估计函数
在实物的三维空间采样过程中,常常出现采样数据不完整的情况,导致其生成的离散曲面所表示的实物存在部分缺失。对缺失部分进行准确检测和合理修复已经成为计算几何和数字图形
具有奇异系数的抛物方程是近年来在核物理、气体动力学、流体力学、边界层理论、非线性场和光学等实际问题中提出的一类重要方程,数值分析和求解该类方程具有重要意义。而有限