随着信息技术的进步,人类社会正在进入大数据时代,海量的数据正在源源不断地产生,通过对这些数据的分析统计,能够获得很多极具价值的信息。通过合理的分析利用这些信息,能丰富便利日常生活,也促使其他技术共同成长。大规模优化问题在很多数据敏感型机器学习领域都十分常见,在这些问题中,往往数据量和数据维度都非常大。例如数据挖掘、环境监测以及遥感等领域。在这样的环境下,由于计算机计算和存储能力的限制,只依靠单一计算设备进行数据的处理是不太现实的,因此需要多台终端设备共同合作处理数据完成预期的任务,这就催生出了分布式学习的概念,即多台逻辑上或是地理上分布的设备通过合作共同处理同一个任务。另外,通常数据的采集也不是在同一个地方完成的,而是不同的采集设备分布式地将采集到的信息存储在本地。并且出于通信代价和储存代价的考虑,通常也不会考虑将大量的数据信息集中存储起来。例如无线传感器网络中传感器采集到的数据。或者出于隐私保护的考虑,将收集到的信息独立存储且不进行共享。例如银行系统中,不同部门存储的用户数据信息等。由于数据的存储和分析处理都是分布式的,所以研究有效的分布式信息处理算法是很有必要的。本文将针对横向和纵向分区的情况分别提出相应的分布式半监督超限学习机（DSSELM）算法。所谓横向和纵向分区是指数据集的存储情况:横向一般是在数据量比较大的情况下,每个节点存储一个总数据样本的本地子集,而纵向一般是在数据维度比较大的情况下,每个节点存储所有数据样本的某几个维度的特征信息。在分布式场景下,整个模型构建在一个通信网络上,每台设备被抽象为网络中的节点。在横向分区数据的情况下,网络中的每个节点都被赋予一个单隐含层前馈神经网络（SLFNN）,在算法的每次迭代过程中,通过利用本地训练数据以及与其直接通信的邻居节点发送来的信息来合作地更新模型参数,来解决半监督超限学习机（SSELM）问题。其中,为了获取整个数据集的样本关系信息（拉普拉斯矩阵）,提出了一种自适应更新的锚点图方法来计算全局的拉普拉斯矩阵。在纵向分区数据的情况下,与前者不同的是,由于每个节点存储的样本特征并不完整,无法构成一个完整的SLFNN,因此通过分析隐含层节点的输出的计算公式,我们将一个完整的SLFNN拆分,每个节点只包含整个SLFNN的一部分。经过这样的处理便可以在不发送原始数据的情况下完成SSELM的训练问题。另外,针对纵向分区的情况,首先提出了中心式的算法,即有中心节点存在的情况,然后在此基础上推导出了完全分布式的算法。最后通过实验仿真验证了所提出算法的有效性,并且与已有算法做出了比较。首先对于横向分区的数据集情况,对合成数据集“双月”数据集做了仿真,而对于真实数据集情况,选取了MNIST数据集进行仿真实验,试验结果表明所提出的算法能够收敛到基于整个数据集训练得到的模型的精度。对于纵向分区的情况,只进行了真实数据集的仿真,分别是MNIST数据集和信用卡评级数据。实验结果表明在不交换原始信息的情况下,所提出的算法能通过协同估计计算出相应的模型参数,并且达到与集中式算法相同的精度。