科学家们在探索人类大脑的过程中形成了一门新的学科一一神经网络,近年来在各个领域得到了广泛应用。前馈神经网络是一种重要的神经网络模型,而基于梯度信息的BP算法是最为流行的神经网络学习算法。人们在梯度算法的基础上提出各种改进方法,其中运用较多的一种方法是基于正则化思想的网络剪枝方法,其通过在误差函数中添加正则项,使多余单元的权值趋于零,并对权值趋于零的单元剪枝,从而达到减小网络的复杂度,提高网络泛化能力的效果。L0正则化方法具有最优的稀疏性,但其求解是NP难问题,难以和神经网络的学习算法进行结合。本文利用光滑函数序列对L0正则子进行逼近,进而提出一种带光滑Lp正则项的梯度学习算法,并对算法的稀疏性、收敛性进行理论分析。本文第一章介绍神经网络的发展历程,神经网络的学习方式和学习算法,以及梯度学习算法,并在此基础上对Lp正则化方法作详细介绍；第二章研究带光滑L0正则项的批处理梯度学习算法,同时建立了算法的稀疏性、收敛性结果及其数学证明,并通过数值实验对理论结果进行验证；第三章研究带光滑L0正则项的在线梯度学习算法,同时建立了算法的收敛性理论,并通过数值实验验证了相应的理论结果；第四章对全文进行了总结。