通信约束下联邦学习算法研究

来源 :武汉工程大学 | 被引量 : 0次 | 上传用户:ting1991
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
联邦学习算法由一个中央服务器和多个客户端组成,在不需要交换本地数据的情况下就能共享重要信息,但是,由于客户端与服务器之间需要不断通信以交换大量模型参数,造成了较高的通信成本。因此研究如何降低联邦学习通信成本,对联邦学习的实际应用,尤其是在通信约束下的移动设备上的应用,具有很重要的现实意义。通信成本主要包含两个方面:一是通信数据总量,二是通信轮次。首先,为了减少传输数据所需总比特数,本文提出了一种基于权值量化的联邦平均算法—基于动态量化的联邦平均算法(DQFed Avg),在客户端向中央服务器上传更新的本地权值之前进行一个量化操作,减少单轮通信回合的通信比特数,由此减少通信成本。其次,为了减少客户端与服务器之间的通信轮次,本文提出了耦合加速的惰性聚合梯度双向量化算法(CT-LAQ),对于上行链路,客户端通过耦合加速梯度下降法计算梯度,在上传梯度之前再进行量化操作,然后设置一个标准确定选择上传本轮梯度或者跳过本轮上传而重用上一个梯度。对于下行链路,服务器通过聚合更新全局梯度,在广播之前进行量化操作,并选择广播本轮梯度或者跳过本轮广播重用上一个梯度。这样,通过选择跳过上传或者广播的方式,大大减少通信轮次,由此降低通信成本。本文提出的联邦学习算法在充分保证客户端的数据隐私安全的同时,通过加入量化技术和耦合加速梯度下降法,大大减少了通信数据总量和客户端与服务器之间的通信轮次,加速模型收敛,提高训练效率,从而降低系统通信成本。通过大量仿真实验检验了所提算法的有效性。
其他文献
价值创造作为企业生存发展的动力源泉始终是学术界和理论界共同关注的焦点,而当今社会由于经济的飞速发展,企业面临的不确定性因素日益增多,这使得管理者需要适时调整管理策略来应对环境不确定性带来的危机,让企业更加灵活地应对各种挑战,进而更好地实现价值创造,因此研究环境不确定性对企业价值创造的影响路径是后疫情时代的重要课题。以制造业为代表的经济实体是我国经济发展的基础,管理会计作为管理控制系统的重要组成部分
学位
本文从分析黄河精神的不同时期的不同内涵出发,对黄河精神进行了基本的阐述。对黄河题材的不同风格、不同类型的作品进行介绍,针对每一种类型的作品进行举例说明。针对个人独唱音乐会所选的六首黄河主题的音乐作品进行了分类和总结,根据作品风格的不同分成三组,对每一组的两首作品进行音乐本体的分析以及演唱处理的分析,并针对作品中的难点以及本人在具体演唱时的心得体会进行了重点的说明。在作品深层情感的挖掘方面,本文通过
学位
对于老龄化趋势日益严峻的农村来说,老年人养老问题是乡村振兴的突破点与难点之一。作为社会保障转移支付的重要部分,养老保险对于农村老年人是否存在真正意义上的减贫效应以及其对相对剥夺的影响,一直以来在学术界颇有争议。减贫效应与相对剥夺的存在与否可以为客观评估现有农村养老保险制度对实施乡村振兴战略、保证农村老年人口脱贫不返贫的政策效应提供重要的量化依据。本文基于目前老年人“多维贫困”测度的研究趋势,首先从
学位
<正>本文联合虚拟解剖(PMCT和PMCTA)和传统解剖对1例高坠死亡个体进行了检验。结果表明,通过虚拟解剖和传统解剖证据的相互补充和相互印证,可进一步提高高坠死亡个体的法医学检案质量。1案例资料1.1简要案情某男,61岁。2021年4月,在房屋建设工作从铲车斗中跌落后死亡(铲车斗与地面垂直距离2.5m)。在征得家属书面同意后,对尸体进行PMCT、PMCTA、尸表和解剖检查。
期刊
近年来,新冠肺炎疫情持续,自然灾害频发,导致全球粮价持续震荡,全球的粮食安全受到了严峻的挑战,作为世界三大粮食作物之一的小麦,在粮食安全领域举足轻重。为了在估计小麦产量时提供更可靠的依据,针对深度学习的麦穗检测也受到了越来越多的关注。本文首先探讨了深度学习在目标检测领域的发展现状,将深度学习的目标检测算法分别按照one-stage和two-stage进行介绍;其次阐述了数据增强等近期比较热门的提升
学位
目的:观察加味潜阳封髓丹联合盐酸帕罗西汀片治疗肾阳虚型郁证的临床综合疗效,为其临床治疗提供新的治疗方向与思路。方法:按照中西医肾阳虚型郁证的诊断标准,将2019年09月至2021年12月至广西中医药大学第一附属医院脑病一区门诊诊治并且其症状符合肾阳虚型郁证的60例受试者纳入研究。根据随机数字表分为治疗组与对照组各30例。对照组予盐酸帕罗西汀片口服治疗,治疗组予中药复方加味潜阳封髓丹联合盐酸帕罗西汀
学位
近年来,虽然国有企业改革进一步深化,但部分国企在经营过程中依然存在市场化运作效率低、混合所有制改革不够深入等问题。成都市政府为进一步加强国有资本管理、提高国有企业经营效率、促进国企资源整合、提升国有资产的流动性,要求成都市属国企开展国资国企综合绩效评价。成都交通投资集团是2007年成立的市属基础设施投建管平台,交投集团当前缺乏完善的综合绩效评价体系。因此,构建成都交投集团综合绩效评价体系具有十分重
学位
水面垃圾、泛滥的水生植物、水华等水面漂浮物对水环境安全造成严重威胁,及时发现水面漂浮物从而对其进行打捞和清理是构建清洁、安全水环境的重要措施。水面漂浮物检测是智能监控技术与水面环境监管业务的深度融合,但目前该方向的研究主要集中在分散个体漂浮物的监测上。针对水面漂浮物检测领域对聚集型漂浮物关注较少的问题,构建了包含聚集型垃圾和水体污染场景的水面漂浮物检测数据集MW-Float。此外,提出了一种基于指
学位
随着互联网经济的发展,视频网站企业的诸多问题逐渐暴露,企业纷纷开始寻求解决方案。而哔哩哔哩(以下简称b站)则从多元化经营的角度寻求破局。本文将b站作为研究对象,依据发展特征的不同,按时间顺序将其近年来的多元化措施划分为起步、扩张、调整三个阶段,并对三个阶段的多元化措施进行了梳理总结,发现起步阶段特征是对手游代理业务、会员增值业务、流媒体直播业务的拓展,在这一阶段,几大主营业务的营收比例相对稳定;扩
学位
随着智能设备的广泛运用,用户数据规模不断增大,采用人工智能技术处理海量数据以挖掘数据价值成为热点技术。如何在保证用户数据安全和隐私的前提下,挖掘海量数据价值成为一个非常具备挑战的工作。联邦学习方法可以联合客户端和服务器端,在允许客户端不上传本地数据(保护数据隐私和安全性)的前提下共同训练一个全局模型,以挖掘海量数据价值。因此,联邦学习方法已成为当前研究热点。联邦学习方法的核心思想是选择一定量的客户
学位