随着大数据时代的来临,数据的规模性和复杂性正急剧增长。使用单一节点和传统机器学习方法进行机器学习模型训练面临着严峻的挑战。为了满足大规模机器学习算法的需求,使用分布式机器学习系统进行机器学习模型训练成为了主流。目前,大部分的分布式机器学习系统都是基于参数服务器系统的思想设计的,而参数通信一致性模型用于权衡计算与通信之间的关系。本文主要围绕如何加速分布式机器学习模型训练来展开研究。传统的分布式机器学习模型训练通常遵循整体同步并行(Bulk Synchronous Parallel,BSP)模型。该模型清晰的划分了计算阶段和通信阶段,每次对全局模型进行更新都需要等待所有计算节点进入同步屏障,即训练时间完全受限于训练速度最慢的计算节点。在集群存在性能差异的情况下,整体同步并行模型将出现严重的同步滞后问题。针对该问题,异步并行(Asynchronous Parallel,ASP)模型和延迟同步并行(Stale Synchronous Parallel,SSP)模型均利用迭代-收敛算法的容错性进行了相应的改进:各计算节点使用异步训练的方式将计算的梯度上传至参数服务器。然而,由于局部模型副本存在延迟性,使得这两种模型引发了一个新的问题,即梯度过延迟问题。针对上述问题,本文对面向分布式机器学习框架的通信优化技术进行深入研究,创新性地提出了两种参数通信一致性模型:受限同步并行(Limited Synchronous Parallel,LSP)模型和自适应受限同步并行(Adaptive Limited Synchronous Parallel,ALSP)模型。并基于这两种一致性模型实现了分布式机器学习框架Kudus。本文的主要研究工作包括以下几个方面:(1)本文深入分析了不同参数通信一致性模型的优势和不足,利用迭代-收敛算法的动态容错性,实现了一个性能驱动型通信模型——受限同步并行模型。该模型从对同步屏障进行松弛化的角度出发,对同步滞后问题进行了优化。该模型实现了受限同步屏障,使得在每次同步阶段中优先进入受限同步屏障的部分计算节点先进行同步,该模型还具有有限异步并行的特性,从而加速了分布式机器学习模型训练。本文对受限同步并行模型进行了设计与实现,并用理论分析了该模型的收敛性。(2)本文在受限同步并行模型的基础上进行了优化,实现了一个性能驱动型通信模型——自适应受限同步并行模型。针对系统结构上存在的性能动态变化、资源受限等应用场景,该模型利用迭代-收敛算法的动态容错性进行了适配,解决了梯度过延迟问题。该模型进一步将同步方式分为分组同步和全局同步,并通过性能监控系统实时收集各计算节点的性能指标,为该模型提供数据基础。该模型有效减少了组内计算节点的同步等待时间,也缩小了组间模型的延迟,从而有效地平衡了集群节点的负载并且更适应真实生产工作的集群环境。(3)本文采用参数服务器系统的设计思想,基于受限同步并行模型和自适应受限同步并行模型,实现了一种分布式机器学习框架Kudus。最后在Kudus上,对上述两种一致性模型进行了实验验证。结果表明,本文提出的受限同步并行模型和自适应受限同步并行模型有效地提高了分布式机器学习模型的训练效率。