近年来,伴随着5G、物联网、人工智能、云计算等技术的发展和应用,分布式优化算法受到越来越多的关注。与传统集中式算法不同的是,分布式优化算法不需要将所有数据收集到云端集中处理,而是在每个节点本地对数据分别进行计算,具有可扩展性好、鲁棒性强、保护隐私的优势。但是,由于网络规模的增大,数据量也不断增加,受网络延迟和有限带宽资源的影响,不同节点之间的通信渐渐成为限制分布式优化算法发展的瓶颈。传统分布式优化算法的主要步骤分为节点的本地计算和邻居节点间的通信,其中,算法的通信总量由(i)算法的迭代次数;(ii)每次迭代的通信次数;(iii)每次通信所需要的数据量三个因素共同决定。在传统分布式优化算法当中,分布式交替方向乘子法由于稳定性强,收敛速度快,迭代次数少而备受瞩目。本文将基于分布式交替方向乘子法的算法框架,通过求解分布式一致优化问题,从减少迭代次数,降低通信次数,以及减少每次通信的数据量三方面入手,设计算法,提高通信效率。具体而言,将包含以下内容:1.本文首先提出分布式加权交替方向乘子法,通过赋予网络节点间最优的通信权重,加快算法的收敛速度,减少迭代次数。分布式交替方向乘子法的收敛速度与算法的步长和网络拓扑结构有关。传统的分布式交替方向乘子法令所有节点间连接的通信权重相同,算法只能通过步长调整收敛速度。在分布式加权交替方向乘子法中,算法增加了对网络节点间通信权重的调节,改善了网络拓扑结构,加快了算法收敛速度。此外,在密集的网络结构中,分布式加权交替方向乘子法可以通过设置节点间通信权重为0,限制每次迭代的通信边数。通过最优的权重设置,算法能在通信受限的情况下,依然取得很好的收敛速度,减轻网络拥塞,提高通信效率。2.分布式加权交替方向乘子法虽然可以限制网络通信、加快收敛速度,但也面临着许多问题,具体包括:增加的节点间权重只利用了网络的结构信息、没有利用好节点本身的数据信息、一经设置便静态不变等。基于此,本文提出了根据节点信息不断自适应调整通信次数的算法——基于通信审查的分布式交替方向乘子法。传统算法每次迭代,节点的更新都是基于上一次的迭代结果。如果两次迭代之间差异很小,节点可以继续使用之前的迭代值进行计算,而不必与邻居再次通信。通信审查通过对节点的更新信息进行审查,筛选出有价值的节点间通信,取消不必要的通信,减少每一次迭代的通信次数,降低通信成本。3.此外,考虑到每次通信所消耗的数据量,本文针对分布式动态一致优化问题,结合量化通信和通信审查,提出动态的分布式交替方向乘子法。在分布式动态一致优化问题中,节点目标函数和最优解会随时间不断发生改变。结合了量化通信和通信审查的动态分布式交替方向乘子法,首先通过量化通信,减少每一次通信所花费的数据量。再利用通信审查,减少每一次迭代中的通信次数。最终,算法能以较低的通信成本,追踪动态变化的最优解。4.最后,本文将分布式算法的计算成本纳入考虑范围之内,对采用线性化近似的分布式交替方向乘子法和随机梯度下降法进行了通信审查的尝试。