论文部分内容阅读
在单机数据上训练的深度学习机制,受限于数据量和算力容易出现过拟合以及较低的可用性等问题。为了解决这个问题,采用中心化的训练架构,聚合多个参与方的数据来训练一个全局模型是普遍采用的模式。或者采用分布式的训练模式,基于中心化服务器聚合各个参与方的模型梯度更新,但这两种中心化的架构始终存在单点故障的可能。此外,当前深度学习系统对于数据隐私和模型隐私的关注不够,限制了深度学习在诸如医疗、金融等敏感数据上的应用能力。同时,在多方参与的系统中,缺乏对参与方贡献的价值评定和奖励,因而会存在不公平性的问题。另外深度学习模型还依赖大量可用的标记数据集,实际应用中缺乏有效的数据集协作标注机制。本文围绕着隐私和去中心化协作,结合区块链智能合约,去中心化数字身份以及隐私保护技术共同实现新的深度学习训练与服务部署系统和数据存储与标注系统,并对两个系统中的经济行为进行抽象,通过智能合约完成激励,用于促进系统参与各方的高效、公平协作。
首先,设计并实现了基于差分隐私、安全多方计算与联邦学习等方法的隐私保护深度学习系统,能够保护系统各参与方的数据隐私和模型隐私。在提供隐私保护的系统中,模型持有方、数据持有方、算力提供方以及数据存储方等可以更紧密协作,促进深度学习模型在需要考虑数据敏感性和模型敏感性的场景中的有效利用。
其次,实现了一个去中心化的数据存储平台,并基于去中心化数字身份,将数据的所有权完全交于用户个人控制。同时,在此存储平台上,用户可以自由分享自己的私有数据到共享平台,用于深度学习系统其他参与方获取数据。另外考虑到深度学习模型大多依赖于有监督学习,在系统机制中鼓励用户参与此存储平台中的数据集标记,作为深度学习系统的辅助。
最后,基于区块链平台构建了多种智能合约,用于对深度学习系统和数据存储平台中经济行为的激励。如用户分享数据到公共平台,参与数据集标注,以及在深度学习系统中向模型所有者提供数据的使用权等行为,通过部署的智能合约可以自动完成行为奖励。同时,为了系统的健壮性,降低恶意行为发生的可能性,构建了用户行为建模体系,基于公开可查且不可篡改的智能合约设计了用户声誉合约模块。
首先,设计并实现了基于差分隐私、安全多方计算与联邦学习等方法的隐私保护深度学习系统,能够保护系统各参与方的数据隐私和模型隐私。在提供隐私保护的系统中,模型持有方、数据持有方、算力提供方以及数据存储方等可以更紧密协作,促进深度学习模型在需要考虑数据敏感性和模型敏感性的场景中的有效利用。
其次,实现了一个去中心化的数据存储平台,并基于去中心化数字身份,将数据的所有权完全交于用户个人控制。同时,在此存储平台上,用户可以自由分享自己的私有数据到共享平台,用于深度学习系统其他参与方获取数据。另外考虑到深度学习模型大多依赖于有监督学习,在系统机制中鼓励用户参与此存储平台中的数据集标记,作为深度学习系统的辅助。
最后,基于区块链平台构建了多种智能合约,用于对深度学习系统和数据存储平台中经济行为的激励。如用户分享数据到公共平台,参与数据集标注,以及在深度学习系统中向模型所有者提供数据的使用权等行为,通过部署的智能合约可以自动完成行为奖励。同时,为了系统的健壮性,降低恶意行为发生的可能性,构建了用户行为建模体系,基于公开可查且不可篡改的智能合约设计了用户声誉合约模块。