随着时代的发展,机器学习的训练集规模与模型复杂度不断增长,单机训练模型已无法适应大规模数据环境。近年来,分布式机器学习因其具有海量数据处理能力以及灵活的扩展性,获得了越来越多的关注。分布式机器学习系统大多以参数服务器为系统架构实现。在分布式系统中,节点宕机与断网具有随机性,导致参数服务器系统采用静态调度时可扩展性与鲁棒性较差。节点间存在异构性,导致参数服务器系统的可移植性与自适应性较差。节点间存在多用户多任务共享资源,导致节点间存在性能差异而延长同步时间。同步是确保并行训练有效的必要手段。整体同步并行策略保证训练精度逼近于单机训练,但是将产生较大的通信开销且容易受到节点间性能差异的影响。异步并行策略极大地减少了同步时间,但是无法保证收敛性与模型精度。延迟同步策略在同步时间与模型精度取得了平衡。但是该策略不适用于具有性能差异的环境,在极端条件下将退化为整体同步并行策略。因此分布式机器学习系统的调度技术优化成为保障系统移植性高、可靠性高、自适应性高以及同步开销低的关键因素。针对上述问题,本文以调度优化为研究方向解决分布式机器学习系统可移植性差、无法应对集群内部训练资源动态变化以及自适应性差的问题。本文创新性地提出了两种调度优化策略:动态调度策略和自适应调度策略。本文基于上述两种动态调度策略实现了分布式机器学习系统ParaisoML。本文的主要研究内容分为如下方面:(1)本文对静态调度的缺陷进行分析,提出一种新的动态调度策略。静态调度在并行训练中无法感知节点资源动态变化,在不同集群间可移植性较差且难以提高可扩展性。动态调度策略适用于资源动态变化的场景,能够依据系统资源变化情况调整训练所分配的资源,提高可移植性与可扩展性。此外,动态调度策略能有效缓解节点间性能差异并降低同步时间。本文对动态调度策略进行设计实现后,在理论上对其进行论证。相关结果表明该策略可以保障收敛且模型精度损失在可接受范围内;(2)本文对动态调度策略进行扩展与优化,提出一种自适应调度策略。动态调度策略能根据资源变化情况调整节点及资源分配,但是无法修正节点间固有的性能差异以及不可预测的临时性动态资源变化。自适应调度策略支持节点动态加入及退出,并通过数据划分缩小节点间的性能差异。此外,自适应调度策略通过分析模型准确率变化规律缓解不同模型迭代收敛次数不具有解释性的瓶颈。本文在对自适应调度策略的设计与实现进行论述。相关结果表明该策略可进一步降低同步时间;(3)本文设计并实现基于动态调度策略和自适应调度策略的分布式机器学习系统ParaisoML。该系统主要由通信系统、资源探测系统以及任务调度系统组成。通信系统基于网络文件系统实现,提供数据通信服务。资源探测系统利用开源工具包Sigar对节点资源利用情况采样并对任务调度系统提供服务。任务调度系统分析资源采样信息并分配训练节点以及资源。数据划分策略在随机采样和乱置切分的基础上,通过随机增量与动态增量实现任务量负载均衡;(4)本文对分布式机器学习系统中常见的同步策略性能进行实验与分析。随后对ParaisoML可移植性、可扩展性以及自适应性的性能进行实验与分析。实验结果表明本文提出的ParaisoML在保证高准确率和收敛率的前提下,降低同步时间并具有良好的可移植性、可扩展性以及自适应性。