在分布式深度学习(Distributed Deep learning:DDL)的训练过程中,参数服务器(Parameter Server:PS)将参数分发到工作节点,经过节点计算后,将结果反馈到服务器进行参数优化。然而,在此过程中,由于传统的DDL系统中没有考虑到深度学习(Deep learning:DL)模型的单层结构和工作节点上的参数变化,导致了网络拥塞和异构环境下的优化性能下降。因此,本文首先提出了一个面向模型参数的优化策略来解决上述问题,并将该策略部署到PS上验证模型训练性能。同时,本文通过改进传统的随机梯度下降(Stochastic Gradient Descent:SGD)算法提出了基于模型数值延迟的随机梯度下降(Value-staleness-aware Stochastic Gradient Descent:VSGD)算法来提高PS在异构环境中的模型训练性能。本文的主要贡献如下:(1)针对DL模型中的卷积神经网络(Convolutional Neural Network:CNN)和全连接网络(Fully Connected Neural Network:FNN)在时间消耗和数据传输上的差异性,本文提出了面向模型参数的优化策略来提高网络利用率,从而提高DDL系统的模型训练性能。具体的,该策略针对DL模型中每一层参数的特点,设置相应的计算和传输优先级,从而提高系统的网络利用率并缓解网络拥塞。本文将参数优化策略部署在PS架构上进行实验,结果表明该策略可以显著提高DDL训练速度。(2)针对DDL训练过程中计算节点异构性问题,本文通过对DL过程的分析,提出了VSGD算法。具体的,该算法提前传输部分数据到服务器来比对模型数值延迟,从而调节每个工作节点的计算结果对整体模型的影响,进而提高PS架构在异构环境下的参数优化性能。本文基于Tensor Flow开发了DDL系统来实现以上算法,并在同构和异构网络环境中对系统性能进行评估。实验证明,本文所提出的架构以及方法能够得到更满意的模型训练性能。