本文在传统的神经网络的基础上,对已有的经典网络参数优化方法加以改进,从而达到提高网络训练精度和泛化能力以及简化网络结构的效果.文章主要分为两个部分.第一部分是在原有的BP神经网络的基础上,提出了作用在Hilbert空间上的多层的前馈神经网络模型以及训练此网络的Hilbert并行超松弛BP算法(HSORBP),并提供了相应的的收敛性证明.数值实验表明HSORBP算法有着很好的学习能力和泛化性能.第二部分针对不同类型的样本数据,对已有的训练单隐层前馈神经网络的extreme learning machine算法(ELM)加以改进,做了以下几方面的工作:首先,针对具有时效性的在线序列数据,在EOS-ELM算法的基础上添加遗忘机制,提出了带有遗忘机制的在线序列ELM算法(FOS-ELM).新提出的算法不仅保留了原有的EOS-ELM算法的诸多优点,同时在添加新的在线数据时,及时淘汰陈旧数据,避免了这些陈旧数据对网络训练过程的负面影响.本文通过具体的股票价格短期预测对比实验进一步验证了处理在线数据时,添加遗忘机制的必要性.其次, ELM算法采用最小二乘原理得到网络的最优外权.在处理分布不规则的散乱数据时,该方法得到的网络泛化能力欠佳.对不同的测试样本的预测中,不同的训练样本起到的作用有很大差别.基于移动最小二乘原理,本文提出移动加权ELM算法(MLS-ELM)以及其简易算法.对于不同的测试样本,根据选定的权函数来确定不同训练样本的权重.在最小化加权的平方损失函数的约束条件下,得到网络的最优外权.在实验部分,本文通过具体的数值实验验证了MLS-ELM算法以及其简易算法的具体性能.最后,在网络参数的学习过程中,为了能够同时考虑隐层输出矩阵和网络输出的扰动量,本文提出整体对称ELM算法(TLS-ELM).该方法利用整体最小二乘原理,在计算网络最优外权的同时,也得到隐层输出矩阵和网络输出的扰动量.该方法在处理大型EIV问题的时候效果尤为明显,并通过和原始的最小二乘法、整体最小二乘法以及ELM算法的数值对比实验,验证了新提出的TLS-ELM算法处理大型EIV问题上的优越性.