深度神经网络（Deep Neural Network,DNN）并行化已成为高性能计算领域一个热点问题,也是解决大规模模型训练缓慢的最佳方法之一。然而随着深度学习应用场景的不断发展,包含更多参数信息的网络模型被设计出来解决更加复杂的任务,导致模型训练过程中耗时不断增加。传统并行方法主要包括数据并行和模型并行,这两种并行方式具有通信开销高、并行增益低等局限性。为解决上述问题,本文提出一种基于数据并行的深度神经网络并行加速方法,主要贡献如下:（1）提出一种基于层间的粗粒度并行方法。针对传统数据并行和模型并行存在训练时间过长和通信开销较大等问题,本文结合数据并行和流水线并行对模型训练过程进行加速。首先,提出一种层间流水线混合并行架构,使用该混合并行架构可以充分挖掘出深度神经网络中的内在并行性。其次,提出一种模型划分算法,该算法旨在寻找神经网络模型的最佳划分和最大化多流之间的负载均衡。然后,提出一种层间流水线并行机制,最大化计算与通信重叠的训练过程和确保神经网络训练过程中可以高效并发地利用计算资源。最后,提出一种基于多流的梯度同步策略,旨在进一步减少训练过程中梯度同步的开销。（2）提出一种层内细粒度加速优化方法。针对深度卷积层计算时间较长和计算过程中内存利用率不高等问题,本文提出一种深度卷积层加速优化方法,该方法在计算过程中可以充分利用计算资源,从而缩短层内的计算时间。首先,对深度卷积层并行性进行分析,提出一种基于TVM的两级划分策略,该策略在加速计算过程的同时可以减少共享内存冲突。其次,提出深度卷积层一级划分方法和二级划分方法,针对二级划分方法提出最佳参数配置算法,旨在找到计算开销最小的参数组合。最后通过结合两级划分策略和虚拟线程进一步加速层内的计算过程。本文所提出的方法在单机多卡的实验环境上进行测试,采用三个标准数据集（CIFAR10,CIFAR100,Caltech 101）分别对ResNet-18、ResNet-34,以及ResNet-50进行性能评估。实验结果表明,三个模型使用提出的多流层间并行方法训练时间相比于传统训练方法有一定的加速效果,在提升训练速度的同时能够保证模型的收敛性,ResNet-18、ResNet-34和ResNet-50相比于传统训练方法的加速比分别为1.47×、1.39×和2.44×。本文提出的优化方法在深度神经网络训练中能有效提高训练过程中的加速比性能,在深度学习并行化领域有一定的实际意义。