面向数据异构的联邦分布式网络流量分类

来源 :何美蓉 | 被引量 : 0次 | 上传用户:hhejiang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络流量分类之所以一直是学术界和产业界共同关注的热点之一,是因为它对于网络安全监管、网络发展规划和网络流量调度具有十分重要的意义。其中,基于深度学习的集中式训练方法是研究人员的关注焦点,这种训练模式需要将客户端的私有流量集中部署在网络运营商的大型设备中用于存储和计算海量数据。但是集中式训练过程频频出现数据泄漏等安全隐患,这将严重威胁客户的隐私。而联邦学习能够在不集中原始流量的情况下,协同网络运营商的多个客户学习一个基于深度学习的全局模型。这种特殊的分布式学习范式不仅可以解决流量数据分散引发的数据孤岛问题,还能保护客户的数据隐私,因此联邦分布式网络流量分类方法将成为良策。但在现实联邦场景下,数据异构会造成全局模型的性能降低。为此,本文重点针对现实联邦场景下客户端的非独立同分布流量问题,提出了面向数据异构的联邦分布式网络流量分类的解决方案,并总结如下:针对数据异构问题,提出了一种基于深度相互学习的联邦分布式网络流量分类方法。这种方法的核心思想在于,客户端在互不干扰地利用预处理后的私有流量进行本地模型训练之后,各客户端上传至服务端的学生模型通过训练公有流量进行相互学习,服务端采用平均聚合学生模型参数的方式获得一个全局分类器。其中,在学生模型的相互学习过程中,每个异构的学生模型都需要学习正确预测公有流量的真实标签,以及匹配其对等点的概率估计,即共享学生模型的知识以削弱模型之间的差异,从而缓解非独立同分布的影响。针对数据异构解决方案中运营商无法提供公有数据的需求,本文在传统的基于联邦学习的网络流量分类中引入知识蒸馏,提出了一种无公有流量的基于轻量级生成器的联邦分布式网络流量分类方法。生成器的作用是通过提取客户端样本的真实标签分布所携带的知识,来调节本地模型的输出,进而提高本地模型在聚合时的质量。这种无需引入公有流量和暴露私有流量的方法能够缓解数据异构的困境和提高全局分类器的性能。以上提出的方法在公开的加密流量数据集ISCX VPN-Non VPN 2016上进行了验证。并通过对比其他的联邦学习算法,证实了本文的方法皆在数据异构的联邦分布式网络流量分类场景下表现优异。
其他文献
气候变暖是当今人类面临的最大挑战之一,以二氧化碳为主的人为温室气体排放是全球变暖的主要原因,而人为二氧化碳排放的增长则归因于以支持人类经济活动的能源燃烧。在全球碳排放进程中,城市扮演了重要角色,城市能源消费碳排放作为中国碳排放的重要组成部分,其减排的实现对完成中国双碳目标具有重要意义。文章以2000—2022年知网数据库的169篇文献作为数据来源,通过CiteSpace 和VOSviewer两种文
期刊
在机器翻译、复述识别、搜素引擎和对话问答等人工智能领域,文本匹配算法得到了广泛的应用。传统文本匹配算法主要利用统计学方法,通过文本字面重合度来计算两段文本之间的相似度,没有深入挖掘文本的深层次语义信息。本文通过对文本多粒度特征分析,利用深度学习技术,将表示型和交互型的文本匹配算法相融合,使模型能够学习到更多的文本特征,生成更全面的文本语义表征,提高文本匹配的效果。本文的主要研究内容如下:1.文本序
学位
知识产权高质量发展观是指导当前企业在专利管理工作中的主要方针,而高价值专利的培育是专利高质量发展的最主要体现。文章梳理了高价值专利的含义,并与中小企业实际相契合,界定了中小企业高价值专利的内涵,提出中小企业要注重专利实用性,将能转化、有效益作为高价值专利的主要特征和管控点,并以此推动中小企业的专利工作由事务型向管理型转变;同时,结合时代发展背景和培育实践,探讨了现阶段中小企业在高价值专利培育中需要
期刊
作为粤港澳大湾区四大中心城市的澳门,自回归以来社会经济高速发展,同时也不可避免面临高速城市化所带来的负面影响。本文基于GIS技术、POI数据和宜出行数据对澳门公共服务设施生活便利性分析,对于日常生活便利性有关的服务基础设施进行了重新划分。加以分析,研究现有公共服务设施的数量供给和多样性供给的空间分布特征,以期为澳门城市更新空间布局提供参考。
期刊
针对铝导体绞合线芯(绞合铝导体)的导体直流电阻的测量数据分散性较大、很难准确测量的现状,对测量过程中影响绞合铝导体的导体直流电阻测量准确性的因素进行了深入的试验研究和分析。首次将电接触理论应用于绞合铝导体的导体直流电阻测量技术领域,剖析了其测量数据分散性较大的原因。通过具体试验数据,为绞合铝导体的导体直流电阻测量数据分散性较大问题提供有力的数据支撑,由此提出了相应的解决方法。
期刊
笔者结合小学语文教学实践,探讨从课堂教学目标,教学内容,教学方式以及德育、美育等方面进行渗透,让学生从语文的教学情感中体会语文的魅力,进而激发学生的学习积极性,并从语文课堂上获得学习的乐趣。
期刊
改革开放以来,我国经历了高速城市化带来的城市大规模建设,粗放型的城市发展使得城市中存留许多未被合理利用的、品质不佳的消极空间。在当下强调存量资源提升的精细化城市发展模式下,城市中心区域的空间品质亟待提高,消极空间的更新利用是城市研究的重要课题。桥下空间作为城市交通设施的附属空间,在桥梁设计阶段未被充分考虑,建成后又缺乏相应的管理机制,造成空间资源浪费、犯罪事件多发、环境品质不佳等问题,而位于城市中
学位
图像超分辨率重建作为计算机视觉低层任务之一,具体为将低分辨率图像通过一定的算法重建出高分辨率图像。该技术可以在不升级成像硬件的条件下,提升图像质量,故其受到广泛关注。目前基于卷积神经网络的图像超分辨率重建算法重建地的具有较高的峰值信噪比,但重建的图像较为平滑,观感较差;基于生成对抗网络的图像超分辨率重建算法重建的图像具有较多的纹理细节,观感更佳,但也存在着重建速度较慢,容易生成不真实伪影。本文主要
学位
随着深度学习的出现与发展,人脸识别技术日趋成熟,识别准确率在受限环境下已然接近饱和。然而在非受限条件下的人脸识别仍然面临着诸多巨大的技术挑战,比如遮挡,光照条件,人脸角度姿态等。其中,姿态是引起人脸识别模型性能大幅下降的重要因素。在早期的人脸识别方法中,往往假设输入模型的人脸图像是一张平视角度的正面视图或者是小角度的近正面视图。在这样的假设条件下,模型能够得出良好的识别效果,但对于大姿态,特别是极
学位
隐私比较是指协议双方或多方参与者对各方隐私数据进行比较,得出其大小关系或相等关系,同时要保证各方隐私数据不被泄露。隐私排序问题为隐私比较大小问题的扩展。随着量子密码学的兴起,隐私比较和排序向量子领域拓展。目前量子隐私比较和量子隐私排序协议存在效率偏低、资源态制备复杂度高和依赖第三方等问题。鉴于此,本文提出了一个基于量子随机行走搜索算法的量子隐私大小比较协议和一个基于Grover算法的量子隐私排序协
学位