近年来,联邦学习作为一种有效解决数据隐私保护和数据高效利用之间冲突的机器学习方法,受到了越来越多的关注。联邦学习允许用户在保持本地数据隐私安全的基础上,通过加密机制下的设备模型参数交互的方式来共同训练全局模型,以实现共享全局模型性能与所有数据聚合时的中央模型性能持平的目标。然而,联邦学习训练面临通信成本高昂以及数据高度非独立同分布两大关键挑战。现有的联邦优化算法在提升通信效率和提升对非独立同分布数据的处理性能方面均做了很多努力,但是它们难以同时实现这两个目标,即在提高通信效率的同时保持对非独立同分布数据的鲁棒性。因此,如何在非独立同分布的联邦学习设置中高效地训练模型,具有重要研究意义。为解决上述问题,本文提出了一种结合注意力机制、符号稀疏化压缩和全局动量的高效鲁棒联邦学习模型SC-Fed ATM,以实现通信效率和准确性之间的良好权衡。该模型对联邦学习训练过程的两个子过程,即客户端局部更新过程和服务器端全局聚合过程,分别进行了优化。具体而言,在客户端局部更新过程中,结合符号稀疏化压缩方法,在对客户端模型参数进行压缩、降低通信成本的同时,减小模型参数的信息损失,为服务器端全局聚合提供更多信息支持。在服务器端全局聚合过程中,首先将各待聚合客户端建模为一个序列,随后使用注意力机制依据不同客户端在客户端-服务器端及客户端-客户端两种关系模式中各自的相关关系,为客户端赋予合适的权重,并在此基础上对各客户端加权聚合,以缩减全局模型与所有局部模型的参数差异,进而提升全局模型对非独立同分布数据的鲁棒性。此外,为进一步利用客户端的历史训练信息,在服务器端引入全局动量机制,将历史局部训练信息以动量的形式保存,提升全局模型的收敛速度。为验证所提模型的有效性,本文在图像和文本领域的五个非独立同分布真实数据集上进行了多组对比实验。实验结果表明,SC-Fed ATM在保证较低通信成本的基础上有效提升了全局模型的准确性,相较于对比算法在准确度指标上表现更优。