非独立同分布下的联邦学习优化

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:ericc0123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工智能算法模型准确率的提高往往依赖不断地向模型注入大量数据样本来实现,但是由于隐私问题,一些数据敏感型企业难以进行数据共享来训练模型。联邦学习旨在破除数据孤岛,使企业能够在保障隐私的条件下,共建联邦模型。但联邦学习的一个突出问题就是参与方可能存在数据上的异构性。当参与方所持数据为非独立同分布时,各参与方会更倾向于将模型拟合向自身所持有的数据特征,从而使联邦模型的准确率大受影响。论文提出了本地截断联邦学习算法框架(Federated Learning with Local Trucation,FedLT),在遵守隐私保护原则的前提下,解决非独立同分布环境中联邦模型准确率下降的问题。FedLT提出基于串行学习与数据切片的预训练算法,进行细粒度的知识迁移,作为剪枝训练的基础,使联邦模型在训练起始阶段能够融合并保留更多的均匀数据特征。FedLT提出基于损失的本地训练截断机制,针对参与方的本地更新过程细分阶段,及时截断弱参与方的本地训练,对其进行剪枝,降低其对全局联邦模型的影响。FedLT在剪枝训练的过程中加入了均匀性补偿机制,补偿训练过程中模型所遗忘掉的均匀性数据特征,与截断策略一起对并行训练所产生的权重分歧进行抑制。FedLT提出联邦统一平均算法对模型聚合的方式进行了优化,综合衡量参与方的模型更新方向、模型更新步长、数据集比例对联邦模型的影响。论文对FedLT算法框架在MNIST、Fashion-MNIST、THUCNews数据集上进行了对比实验。实验结果表明,相比于Federated Averaging和LoAdaboost算法,FedLT所得的联邦模型在不同数据分布形式的参与方下,均取得了测试准确率提升的效果,且不平衡性越大,FedLT对模型性能的改善幅度越大。在数据分布极度不平衡时,FedLT所得模型在三个数据集上的测试准确率分别最大提高了48.57%、37.45%、14.67%,并提升了算法模型的训练效率。
其他文献
【目的】通过对瘤胃液中分离所得的菌株进行研究,为益生菌制剂的制备提供基础数据。【方法】采集10头健康荷斯坦奶牛的瘤胃液,通过涂布、特性培养、纯化等步骤获得单一菌株,提取细菌DNA,进行16S rDNA的PCR扩增。通过16S rDNA基因测序鉴定后进行序列比对并构建系统发育树,确定菌株种类。对不同种类的细菌进行0~48 h的培养测定其生长特性,并进行耐酸碱和耐胆盐试验。【结果】通过涂布分离菌株得到
随着我国城乡居民生活水平的不断提高,居民用户负荷在社会负荷结构中所占比例逐步提升,同时,随着电网峰值负荷的逐年攀升,如何保证电力系统在高峰负荷时的长期安全稳定性运行成为了亟待解决的重要问题。居民用户负荷具有数量众多、分布广泛等特点,在居民用户负荷预测的基础上,有效地整合和利用居民用户需求响应资源能够对缓解电网运行压力起到关键性作用。本文在调研居民用户负荷预测和需求响应现状的基础上,研究了面向居民用
目的研究出生24小时内的Balb/C小鼠感染MCMV后的听力、耳蜗结构和听皮层的变化,并探讨其在渐进性听力减退中的作用。方法将出生后24小时内的Balb/c小鼠随机分为感染组(50只,1.3-1.8g,雌雄不限)和对照组(50只,1.3-1.8g,雌雄不限),分别给腹腔注射MCMV(murine cytomegalovirus)(感染组,记作MCMV组)或等量DMEM(Dulbecco’s mod
为了探究盐度对橄榄蛏蚌Solenaia oleivira幼蚌存活率、呼吸代谢和摄食代谢以及能量收支的影响,并探索橄榄蛏蚌在滨海NaCl型盐碱地或滩涂养殖可能性,采用等间对数法进行了橄榄蛏蚌幼蚌在淡水(0.2) 和盐度(2.00、3.31、3.70、4.24、4.92、5.82、7.00) 中的存活率研究,并采用室内静水法进行了2.23盐度下的耗氧率、排氨率、摄食率、排粪率等的研究,建立能量收支方程
基于模块化多电平换流器(Modular Multilevel Converter,MMC)的高压柔性直流输电技术凭借其高度模块集成化设计、开关损耗小、功率控制较为灵活等诸多优势,在新型电力系统中扮演越来越重要的角色。但结合实际工程中相关报道,可知MMC并网系统的高频振荡问题相对于其他电力电子装备而言更加突出,严重威胁电网的安全稳定运行。现有研究工作主要集中分析了长链路延时和基频电流控制器参数对MM
单晶硅材料作为一种性能优异的晶体材料,广泛应用于高端精密芯片与航天光学元件的制造,但其硬度高、脆性大,传统机加工方式无法满足高精度低损伤的加工需求。近年来出现的微激光辅助超精密加工技术可实现单晶硅的塑性加工,为解决单晶硅元件高效率、高精度加工的制造难题提供了新的方案。该技术的核心是实现脆性单晶硅材料的塑性切削,但已有研究对微激光辅助加工过程中的单晶硅脆塑转变过程的探索尚不充分,激光辅助参数与刀具几
随着能源危机、排放以及石油对外依存问题日益凸显,节能减排迫在眉睫。甲烷作为替代燃料其应用前景非常可观。甲烷燃烧时往往需要结合稀释气体,研究者们对稀释气体对甲烷预混层流火焰速度的影响进行了研究,主要将其分为包含稀释效应和热效应的物理效应,以及化学效应。但现阶段还存在对三种效应影响占比研究较少、对热效应参数研究的缺乏、对化学效应的试验研究缺乏等问题,因此本文主要研究了这些方面,并以非稀释物理效应取代了
当前,智能电网的建设目标对电力系统设备的信息化、自动化提出了更高要求。及时准确地发现和处理故障设备是提高系统供电可靠性的重要手段,由于电流或电压致热效应,电力设备在故障时往往伴随温升。红外热像仪是运维人员检测和诊断设备热故障的主流方式,但这种方法存在一定的局限性。一方面,红外相机普遍价格高、像素低,在设备密集处空间定位一般;另一方面,红外设备有一定的操作门槛,需要根据被测对象的材料调节发射率。可见
电容位移传感是高精度空间惯性传感器的关键技术之一,主要采用基于桥式结构的高频调制解调的测量原理。由于空间引力波探测中惯性传感器的位移传感需达到毫赫兹测量频带,而目前国内外研究结果表明解调电路噪声是影响电容位移传感低频性能的主要来源之一,因此本文针对解调电路的低频性能开展了理论和实验研究,取得的主要成果如下。首先,本文对解调电路的基本工作原理和主要方案进行了系统介绍,重点基于电子开关型解调电路,设计
目的:(1)液相色谱-质谱联用方法具有专属性强、灵敏度高的特点,在体内药物分析领域具有广泛的应用。本研究建立并验证液相色谱-质谱联用方法分别测定人和大鼠血浆中沙丁胺醇浓度。(2)硫酸沙丁胺醇吸入气雾剂是一种定量吸入气雾剂。本研究建立硫酸沙丁胺醇吸入气雾剂药动学等效性评价技术与流程。(3)药用炭是一种吸附药,在临床上用于食物、生物碱等中毒及腹泻、胃肠胀气等疾病的治疗。本研究验证药用炭混悬液在硫酸沙丁