差分隐私保护的个性化联邦学习方法研究

来源 :广西师范大学 | 被引量 : 0次 | 上传用户:baliver110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器学习在信息时代发挥着重要的作用,利用大量数据进行机器学习模型训练,生成的模型可以服务于各行各业。传统的机器学习模型训练需要将各机构或者广大用户产生的数据收集在一起,集中式地进行模型训练。这种模式在训练过程中就会暴露用户的数据给其他方,造成了用户隐私信息泄露。因此按照数据的隐私保护规定,很多情况下不能进行集中式的机器学习模型训练,多个数据拥有者就如同数据孤岛一样存在。如何在保护用户隐私的情况下,利用更多的数据训练出更强大的机器学习模型是当前需要解决的问题。联邦学习(Federated Learning)的出现有效地缓解了数据孤岛问题。联邦学习是一种分布式机器学习方法,由中央服务器协同多个拥有数据的客户端训练机器学习模型。在训练过程中,每个客户端不用共享自己的原始数据,而是通过交流模型参数或者中间信息来完成模型的训练。将客户端原始数据保持在本地,从而保证了数据的隐私安全。联邦学习中的个性化问题和隐私保护问题已经成为目前的研究热点。传统的联邦学习训练出一个全局模型,供每个参与者使用。但是由于数据的异质性问题,全局模型在一些用户上表现甚至不如其局部模型。如何为用户训练个性化模型而不是统一的联邦学习模型值得研究。最近的研究发现联邦学习中虽然没有暴露原始数据,但是交流的模型参数也会造成用户部分数据隐私的泄露。为了保证用户数据隐私,通常也在联邦学习中引入差分隐私保护机制。从个性化和隐私保护这两个方面出发,本文分析已有的联邦随机森林中的个性化问题和联邦元学习中存在的隐私保护问题,提出差分隐私保护的个性化联邦随机森林(PP-FPRF)方法和差分隐私保护的联邦元学习(DP-Fed Meta)方法,本文的主要内容概括如下:(1)传统的联邦随机森林适合几个数据机构之间的合作训练,但是没有考虑模型的个性化问题。对于用户量多且模型需要个性化的场景下,统一的联邦随机森林模型并不能得到理想的结果。研究从数据和模型两个层面出发,为用户训练个性化的联邦随机森林模型。具体来说,利用局部敏感哈希函数,为用户计算出拥有相似数据的其他用户。用户只与相似用户一起训练而不是所有用户,实现数据层面的个性化。用户在自己本地根据集成学习中增量选择的特点,对生成的决策树进行模型层面的个性化选择。同时,利用差分隐私对模型训练过程中非叶节点和叶节点进行保护,保证参与联邦学习的用户隐私信息不被泄露。并在人类活动识别数据集上进行实验,测试提出的个性化方法的有效性。(2)已有的联邦元学习方法,可以通过元模型在用户本地的局部适应,为用户生成适合自己任务的个性化模型,该模型在图像分类任务上取得了不错的效果。但是针对联邦元学习中的隐私保护问题,目前研究不够充分。通过利用差分隐私机制,保证用户在联邦元训练过程中的隐私安全。在元模型训练过程中,每轮上传局部梯度之前,首先对梯度进行切割,确定梯度的隐私敏感度。然后,对梯度进行差分隐私噪声保护,将扰动后的梯度信息上传到服务器端,避免了原始梯度泄露用户的隐私信息。本文在几个经典的图像分类任务上进行了实验,验证了在保护隐私的同时保证了模型个性化的有效性。
其他文献
目的:调查医院神经内科中成药应用情况,统计不合理用药情况,并制定管理对策。方法:调查医院神经内科中成药应用情况,包括中成药种类、使用不规范情况,分析原因并制定针对性管理对策。结果:2020年医院神经内科715例患者共开具1 538张中成药处方,其中使用频率最高的前10种药物分别是丹参川芎嗪注射液、枣仁安神颗粒、脑心通胶囊、丹红注射液、天麻素注射液、参麦注射液、七叶神安片、舒血宁注射液、百乐眠胶囊。
期刊
目的:探讨人本位整体护理用于新生儿病房护理管理的效果。方法:医院从2018年1月起在新生儿病房护理管理中实行人本位整体护理管理,随机选取2017年新生儿科收治的100例住院患儿为实施前,实行传统护理管理;选取2018年的100例住院患儿为实施后,实行人本位整体护理,比较实施前后护理人员的专业理论和护理技能考核水平、护理缺陷发生率及患儿家属对护理工作的满意度。结果:护理人员的新生儿科知识及实践技能考
期刊
目的:探讨分析内科中构建优质护理管理模式的意义。方法:选择2016~2017年在医院就诊的100例患者,经过医院的伦理审核通过,患者签写知情同意书,随机分为两组。对照组采用常规护理管理模式,观察组为通过建立护理绩效考核小组,构建优质护理管理的新型管理模式。比较两组患者对护理质量的评分,统计患者对护理工作的满意度和护士对自身工作的满意度。结果:观察组患者对危重护理、基础护理、病房管理、护理安全等评分
期刊
尽管机器学习技术降低了方面级情感分类对情感词典的依赖,但是它提取深层的上下文关系特征的能力仍不够。近年来快速发展的深度学习技术解决了这个问题,它不依赖于人工提取特征,且通过端到端的训练学习挖掘到了更深层次的语义。方面级情感分类对语义理解有极高的要求,挖掘文本的深层次语义有利于提高细粒度情感分类的准确率,其中依存句法结构信息至关重要。因此,通过深度学习技术,有效利用依存句法信息,来挖掘深层次语义信息
学位
目的:探讨孕期免疫激活子代Balb/c小鼠哮喘慢性发作对其认知社交行为的影响及能的相关机制。方法:选用健康母孕Balb/c小鼠,随机分为孕期免疫激活组(A组,n=6只)、对照组(B组,n=3只)。A组:于孕早、中、晚期腹腔注射OVA+Alum溶液致敏。B组:于相同时间予等量生理盐水腹腔注射。随后将A组子代鼠随机分为哮喘慢性持续组(C组,n=10只)、孕对照组(D组,n=10只)。将B组子代鼠随机挑
学位
目的:目前已有大量实验证明右美托咪定治疗脓毒症有确切疗效,但其作用机理复杂,尚未阐明,其有效性、安全性需深入认证。故本课题旨在采用网络药理学及分子对接验证的办法,梳理并分析右美托咪定治疗脓毒症的关键靶点与信号通路,探讨右美托咪定治疗脓毒症的潜在作用机制,为后续实验研究提供理论依据和研究基础。方法:首先,从Drugbank、PubChem、STITCH、Pharm Mapper数据库检索药物关键词“
学位
法律智能,旨在应用人工智能技术赋予机器理解法律文本数据的能力,以帮助解决法律领域的各项难题,是自然语言处理的重要应用场景之一。文本问答,旨在构建能够回答自然语言形式问题的系统,是自然语言处理领域内最具难度的挑战之一。法律文本问答,又称法律问答,是法律智能中的一个典型应用,同时也是现实中法律咨询的一个重要组成部分。一个好的法律问答系统能够为许多人带来极大的便利,因此具有重大的研究价值。近年来,随着以
学位
目的:通过比较新型口服抗凝药(New Oral Anticoagulants,NOACs)包括阿哌沙班、利伐沙班、达比加群与传统口服抗凝药在老年衰弱合并非瓣膜性房颤患者中抗凝作用的优缺点,评价该类药物在这一特殊人群中的疗效及安全性。方法:通过系统全面检索以PubMed、Cochrane图书馆、Embase及Scopus为代表的英文数据库,以及中国知网、万方医学库、CBM中国生物医学库为代表的中文数
学位
城市植被作为城市生态系统中的重要组成部分,对其进行合理的规划与监测是必不可少的。高分辨率遥感图像的广泛应用使得能够低成本、短周期、高精度地提取城市植被信息。但高分辨率遥感图像在客观提升肉眼可辨识度的同时,引入了更为复杂的背景信息,因此传统的植被提取方法如目视解释法、传统机器学习方法的局限性愈发明显。目视解释法耗时长、成本高、自动化程度低,已无法满足生产的需求;传统机器学习方法虽然在植被提取的研究中
学位
目的:系统分析血清25(OH)D水平与痴呆发病风险的关系,并进一步阐明两者的剂量—反应关系。方法:检索中国学术期刊全文数据库(CNKI)、万方数据知识服务平台、Pubmed、Embase、Cochrane Library、Web of Science数据库,检索时限从数据库创建到2021年12月,并检索血清25(OH)D水平与痴呆发病风险相关的队列研究。按照拟定的纳入和排除标准筛选文献,提取资料。
学位