基于区块链的公平联邦梯度提升决策树算法与系统研究

来源 :广西师范大学 | 被引量 : 0次 | 上传用户:zz123251234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,梯度提升决策树(Gradient Boosting Decision Trees)已成为一种流行的机器学习算法,并因其在分类、排名、预测等方面的良好表现而在许多数据挖掘竞赛和实际工业应用中被广泛关注。然而包括梯度提升决策树在内的传统机器学习的广泛应用,愈发受制于训练数据集限制,为了进一步实现高质量的模型训练任务,所有权分散的数据需要突破隐私、通信、利益分配、安全等限制因素,实现替代集中式统一处理的新型计算模式。联邦学习旨在降低隐私风险和成本,使实体能够在本地保存数据并在统一编排服务下协作训练模型。然而,具有潜力的基于梯度提升决策树的联邦学习系统无法在准确性和通信之间做出很好的权衡。此外,当前系统设计还忽略了一个重要方面:公平性,即依据不同参与方对联邦模型的贡献来合理分配收益,公平性问题直接影响了联邦梯度提升决策树系统能否在实际环境中获得广泛应用。综上,当前的联邦梯度提升决策树系统尚未解决上述如模型可用性、利益可分配性等关键问题。本文研究一种基于区块链的联邦梯度提升决策树方案,该方案可以实现恒定的通信开销和良好的模型性能,根据少量的更新信息量化各方的贡献,并利用区块链提供公平、可信的协调平台。本文具体包括以下研究内容:(1)本文研究了一种联邦梯度提升决策树训练方法FV-tree,通过把基于树的通信方案替换为基于纯梯度的方案,并将中间梯度信息压缩到较小程度。另外采用了隐私空间分解技术和梯度改装策略,缓解了因为通信量压缩而导致在倾斜数据集中模型性能下降的问题。此外,本文还为FV-tree提供了一种差分隐私保护方案,并通过实验验证了此方法在大规模数据集下具有良好的表现。(2)随后,本文基于合作博弈论Shapley值和梯度提升决策树的训练过程进行了研究与分析,引入了一种新颖的贡献分配量化指标Split Shapley值。它利用了梯度提升决策树训练过程中的增益计算作为效用函数,在联邦训练过程中根据有限的梯度更新摘要量化联盟中不同主体的贡献,具有公平性保证并为联盟结算货币奖励提供依据。(3)最后,本文研究了如何将联邦梯度提升决策树算法、贡献量化机制和区块链有机地结合。具体包括,针对Split Shapley值的敏感性研究了一种分布式梯度直方图验证共识机制,设计了智能合约协调计算过程、分配训练贡献因子,在区块链环境中实现了一个闭环联邦梯度提升决策树系统FGBDT-Chain。通过在公共数据集上进行综合实验,实验结果表明,在大规模倾斜数据集下本研究方案在模型准确性、通信开销、公平性和安全性之间取得了良好的平衡。综上,本文研究了一种梯度提升决策树算法,在通信优化的基础上综合权衡了模型可用性、隐私性等方面关键因素;本文设计了一种基于区块链的联邦梯度提升系统,在可以保证公平性的同时兼顾了可信性、安全性等多个系统关键因素;综合实验表明本文研究方案在性能测试中表现良好,计算、存储开销符合工业应用需求,具有实际应用价值。
其他文献
古人强调“文以载道”,而其中的“道”,与今天我们提倡的责任担当、家国情怀是相通的,所以“道”就是联系古今,以德树人的最佳契合点。借此契合点,就可以把古文今用,在课堂教学中融入社会主义核心价值观,授之以道,激发学生的爱国情怀,培养学生的历史使命感,增强学生的社会责任感,就能完成在语文教学中立德树人的任务。
当前,我国宏观经济面临发展模式转变、产业结构调整、新旧经济增长动力转换和新冠疫情等复杂形势。在经济下行压力增大、工业企业坏账激增、民营企业债务违约不断的态势下,大量中小企业出现现金流断裂和经营危机,非金融机构不良资产存在广阔的市场空间和处置需求。此外,随着各省地方资产管理公司的不断获批、第五家全国性资产管理公司(中国银河资产管理有限公司)的成立、银行系AIC的设立和外资资产管理公司的进入,不良资产
知识图谱嵌入是预测知识图谱中缺失链接的重要工具,它将知识图谱中的实体和关系嵌入到连续低维空间中,并尽可能地保留原数据中隐含的各种信息。近年来,一些知识图谱嵌入方法利用极坐标系对知识图谱中普遍存在的语义层次结构进行建模,提升了链路预测任务的性能。然而,这些方法在建模关系时,使用了简单的标度变换并过度关注于实体的层次差,这在一定程度上限制了模型的拟合力。为了应对上述问题,提出了基于层次保留的知识图谱嵌
知识图谱嵌入技术将知识图谱中的实体和关系嵌入到连续的向量空间中,在简化图谱操作的同时保留知识图谱的固有结构,并有助于完成诸如图谱补全、链接预测等下游任务.随着基于知识的人工智能的日益普及和应用,知识图谱的数据规模正在急剧增加.然而,大部分的知识图谱嵌入工作主要关注模型训练的结果,忽略了对于数据规模的可扩展性,在处理大规模知识图谱时表现出较差的性能.近年来的一些研究工作将数据库技术应用于机器学习算法
为了快速提升教师专业成长的步伐,绵阳市游仙区石马小学针对地域、师资、观念等多种因素的影响,以小专题研究作为切入点,并在实践中探索,形成了“三三四”的研修模式:以“三级联动”的管理模式,营造浓郁的研究氛围;以“三级递进”的研修模式,促进教师专业成长;以“四环相扣”的运行机制,促进小专题研究的自主运行。
粮食安全关系国家经济稳定发展,加快推动粮食主产区机械化水平是保障粮食生产的重要举措。本文利用泰尔指数测算粮食主产区农业机械化水平地区差异,发现差异主要来自各省之间。在此基础上利用2000—2019年省级数据,从农机购置的供求角度建立计量模型,实证分析粮食主产区农业机械化水平的影响因素。实证研究结果发现,农业劳动力转移量、农民收入水平、农村居民受教育程度以及农机具购置补贴政策是造成粮食主产区农业机械
<正>定岗、定编、定责、定标准、定薪酬是人力资源管理举措中的“五定”,也是构建人力资源管理体系稳定运行机制的基础性工程,因此,职位体系设计与薪酬体系设计作为人力资源管理“主业”,关系着企业的长足发展。企业要推进改革创新,人力资源支撑是首要因素,人力资源管理体系也势必需要进行优化调整。一般而言,企业只有在科学合理的岗位与职级管理体系的基础上,才能搭建能上能下、能增能减的薪酬动力机制,从而进一步激发组
期刊