神经网络的研究自从上世纪80年代起引起了人们的高度重视，其应用范围广泛，涉及模式识别、函数逼近、智能控制、数据挖掘和知识发现等诸多领域，取得了可喜的成绩。但在应用中，尤其在神经网络学习方面还面临着一系列的问题，比如如何确定网络结构、过学习与欠学习、知识增量学习等。这些问题严重影响着神经网络的整体性能。如何解决神经网络面临的问题，建立有效的神经网络学习机制是神经网络应用迫切需要解决的课题。 基于微分几何、信息论、统计学的信息几何理论，以及将自然界中的进化过程引入工程研究领域以解决工程中优化问题的进化计算理论是研究非结构化、非线性空间更合理的方法和手段。以应用这些理论为代表的整体结构的研究是人工神经网络发展的重要方向和突破点之一。 本文主要以信息几何理论和进化计算理论为基础，对神经网络学习中的几个关键问题如模型选择、学习准则及增量学习问题做了研究，提出了基于广义KL距离和几何曲率的模型选择准则；给出了一个一般意义上的后验委员会机器体系结构及对应的学习准则；提出了具有增量学习能力和对个体进行优化选择的混合委员会机器构造算法；最后利用进化计算、Boosting算法和负相关学习来构造委员会机器的优化算法。 主要创新工作有： 1、提出了一种基于流形上的广义KL距离和几何曲率的模型选择准则KLCIC，并给出了理论分析与实验验证。该准则利用模型流形的内在几何特性及模型流形与数据流形的几何位置关系来评价模型的拟合度，而用模型的几何曲率来衡量模型的固有复杂度，它们具有参数表示不变性的特点，赋予了复杂度与拟合度清晰的几何意义，为基于数据的模型选择提供了理论上的支持，实验结果也证实了准则的可行性与有效性。 2、分析委员会机器学习准则的选择与逼近、自适应性和竞争性的紧密关系，通过最小化后验分布间的KL距离，给出了一个一般意义上的后验委员会机器体系结构及对应的学习准则。实验结果证明了方法的可行性与有效性。 3、在深入分析Learn++的基础上，尽可能地在不使用原有数据样本的情况下，通过嵌入自生长的动态委员会机器改进了Polikar提出的以静态委员会机器结构为基础的Learn++算法，提出了具有增量学习能力、对个体进行优化选择的混合委员会机器构造算法Learn++.H。实验结果证明了方法的可行性与有效性。 4、提出了利用进化计算、Boosting算法和负相关学习算法来构造委员会机器的NEB算法。该算法给个体网络间提供了两次交互协作的机会，使得在同一过程中完成个体网络的学习和整合。