基于联邦学习的深度学习模型研究

来源 :东华大学 | 被引量 : 0次 | 上传用户:keliok
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
联邦学习是一种分布式设置,它允许各客户端将数据保存在本地的同时,协作训练一个联合的全局模型。因此,联邦学习具有保护隐私数据,分布计算和分布存储等优点。基于这些优点,联邦学习不只局限于理论研究,而同样活跃于现实生产生活,如服务推荐平台,智能工业制造等等。在联邦学习系统中,通信和聚合作为两个主要的性能瓶颈,均具有重要的现实研究意义。因此,本文主要研究内容包含通信和聚合。首先,针对通信,提出了三个算法,即动态通信算法,终端增量通信算法和单元增量通信算法;针对聚合,提出了两个算法,即自适应聚合算法和动态聚合算法;最后,基于所提出的算法,提出了如下三个联邦学习模型。本文提出的第一个联邦学习模型名为Fed DAS(Federated Learning with Dynamic Communication and Self-updating Aggregation)。在这个模型中,本文应用了提出的两个算法,分别是动态通信算法和自适应聚合算法。其中,动态通信算法采用了固定通信间隔与经过约束的可变间隔相结合的方法,使得联邦系统可以在单个学习任务中使用多种通信间隔,以期提升模型性能。自适应聚合算法提出了一个新的聚合权重公式并使得聚合权重自动更新,从而利用了全局模型和局部模型之间的相互影响,以提高任务准确率。此外,自适应聚合算法把额外但很小的计算负担放到功能强大的服务器端而不是资源受限的客户端。本文分别对两个算法进行了实验与分析,并在三个超参数上比较了Fed DAS和三个先进的模型。通过进行图像分类实验,结果表明每个算法的表现均优于被比较的算法,且Fed DAS模型的性能高于先进的学习模型。本文提出的第二个联邦学习模型名为Fed TAD(Federated Learning with Terminal Incremental Communication and Dynamic Aggregation)。其中,本文应用了两个提出的算法,即终端增量通信算法和动态聚合算法。其中,终端增量通信算法通过引入增量学习的思想,并结合了微调法和特征提取法的优点,使得联邦系统在过大的通信间隔条件下仍能表现优异。动态聚合算法通过配准神经元在分子层面上对模型进行聚合,从而提高了任务准确率。此外,动态聚合算法不仅把额外增加但很小的计算放到功能强大的服务器端而不是资源受限的客户端,还可用于大型的卷积神经网络。本文基于Fed TAD提出了第三个联邦学习模型,名为Fed UAD(Federated Learning with Unit Incremental Communication and Dynamic Aggregation)。其中,本文在终端增量通信算法的基础上,另外设计了一个单元增量通信算法。此外,Fed UAD中的动态聚合算法与Fed TAD中的动态聚合算法在方法上是一致的。本文分别测试并分析了终端增量通信算法,单元增量通信算法和动态聚合算法,接着将Fed TAD和Fed UAD同其他四个先进的模型(包括Fed DAS)进行比较,最后比较分析了Fed TAD和Fed UAD二者的适用情况。通过进行图像分类实验,结果表明在本地训练轮数较大的情况下,Fed TAD和Fed UAD仍然表现优异,这证明了它们在保持扩大本地训练轮数与获得高精度的平衡方面的有效性。此外,Fed UAD在相对极端的数据分布情况下的表现要优于Fed TAD。
其他文献
实现环境效益和创新能力的双提升是推动区域可持续发展亟待解决的关键问题。选用2003—2019年北京、天津和河北省11个设区市的面板数据,选用空间误差模型系统分析环境规制对京津冀科技创新能力的影响,并提出针对性建议。研究表明:考察时序期间内,环境规制与创新能力之间存在倒“U”型关系,且环境规制强度尚未到达拐点;空间负向溢出效应是误差项导致的,考察地区创新能力的误差冲击会溢出到邻近地区并对该地区的创新
期刊
2020年3月,广宗县大王村村民在村北清理废弃池塘时发现砖室墓,文物部门立即展开保护工作,共清理北宋时期墓葬5座,其中,M2、M3、M5被早期盗扰,由于封土保护顶部保存较好,砖室破坏严重;M1、M4保存较好,并且砖雕斗拱、正脊颇具唐代遗风,其为研究邢台一代唐宋时期建筑风格提供了重要资料。
<正>古树名木是林木资源中的瑰宝,是自然界的璀璨明珠。据我国有关部门规定,一般树龄在百年以上的大树即为古树,而那些树种稀有、名贵或具有历史价值、纪念意义的树木则可称为名木。从历史文化角度看,古树名木被称为“活文物”“活化石”,蕴藏着丰富的政治、历史、人文信息,是一座城市、一个地方文明程度的标志。从经济角度看,古树名木是我国森林和旅游的重要资源,
期刊
随着卫星轨道、钟差产品精度的提高,对流层延迟已成为全球导航卫星系统(Global Navigation Satellite System,GNSS)双频及多频数据处理中最重要的误差源之一。由于对流层延迟、测站钟差、测站高程三者之间存在较强的相关性,高精度对流层延迟模型可以显著提升GNSS定位定时精度,并加速精密单点定位(Precise Point Positioning,PPP)等GNSS实时应用
现在,随着新课改的不断深入,大家对课改的重视程度也越来越高,"高效"是教育改革的重点之一。教师要想达到有效的课堂效果,教师要有一种强烈的"以人为本"的自觉,课堂是学生的,并不是以教师为主体,也不仅是单一的、封闭的、静态的知识的传授,更是师生之间的多项、开放的、动态的对话与交流过程。有效课堂应当是课堂自主、快乐、开放性、交互性、创造性和创造性。
目的 评估急性生理与慢性健康状况评分(APACHEⅡ)预测产科ICU患者病情危重程度及预后的价值。方法 收集2019年8月至2020年8月入住四川大学华西第二医院ICU超过24 h的孕产妇相关数据进行回顾性分析,采用受试者操作曲线(ROC)曲线下面积(AUC)评估APACHEⅡ评分预测产科危重症的能力。结果 研究期间共有19 438名孕产妇入院分娩,378例入住ICU,研究纳入352例,290例发
<正>北京是世界闻名的历史文化名城,是中华文明的一张金名片。其有3000多年建城史,800多年建都史,作为六朝古都,千百年里多少帝皇将相、王侯公卿曾在此叱咤风云?古人言北京:“幽州之地,左环沧海,右拥太行,北枕居庸,南襟河济,诚天府之国”。因为优良的地理位置和悠久的历史,北京也是名副其实的古树之都,现共有古树四万余株,它们虽默默不言,
期刊