在最近几年,神经网络已经被广泛的应用于各种回归和分类问题。通过将正则项加入到神经网络的学习过程中,研究者提出了许多正则化技术来处理与神经网络相关的问题。其中,两种经典的正则项（惩罚项）分别是运用L2范数和运用L1或L1/2范数。L2范数的功能主要是获得有界的网络权值并提高网络的泛化能力。而L1或L1/2范数的功能主要是使网络具有稀疏性,以便减少神经网络使用的节点和权值,与此同时并不引起对网络效率的破坏。本文考虑高阶神经网络（HONNs）的正则化方法。研究者已经证明,HONNs在许多方面比普通的一阶网络更高效。从一些方面来讲,稀疏化对HONNs更重要,因为通常情况下HONNs中有更多的节点和权值。特别地,本文考虑pi-sigma神经网络（PSNNs）和 sigma-pi-sigma 神经网络（SPSNNs）。本论文的主要内容如下:1.在第2章,本文研究用于PSNNs的带L2内惩罚的在线梯度算法。这里,L2范数是关于每个Pi节点的输入值的。证明了误差函数的单调性、权值的有界性以及弱收敛定理和强收敛定理。2.在第3章,本文描述了另一种用于PSNNs的L2内惩罚。不同于第2章,本章中L2范数是关于网络中每一个权值的。证明了批处理梯度算法的收敛性。并证明了在训练迭代中带惩罚项的误差函数的单调性,以及权值序列的一致有界性。将该算法应用于求解四维奇偶问题和Gabor函数问题以支持我们的理论结果。3.在第4章,提出了一个带光滑L1/2正则化的离线梯度法来训练和修剪PSNNs。因为涉及绝对值函数,原始L1/2正则项在原点不光滑。这会导致计算中出现振荡现象,并且非常难于进行收敛性分析。本文提出了使用光滑函数代替并近似绝对值函数,得到一个PSNNs的光滑L1/2正则化方法。数值模拟表明,光滑L1/2正则化方法消除了计算中的振荡,得到更好的学习准确率。我们也能够证明所提出的学习方法的收敛性定理。4.在第5章,本文考虑更重要的Sigma-Pi-Sigma神经网络（SPSNNs）。在现有文献中,为了减少Pi层中Pi节点的个数,在SPSNNs中,研究者采用了一种特殊的多项式Ps。当令其他的变量都是常数时,Ps中每个多项式关于每一个特定的变量σi都是线性的。这种选择可能是直观的,但未必是最好的。本文提出了一种自适应的方法来寻找一个给定问题的更好的多项式。为了阐明提出的方法,本文从一个确定阶数的完整多项式出发。然后,在学习过程中对给定问题,采用正则化技术减少所需多项式的数目,最终得到一个新的SPSNN,其所用的多项式的数量（=Pi层中的节点数）和Ps中多项式的数量相同。一些基准问题的数值实验表明,新的SPSNN表现比带多项式Ps的传统SPSNN好。