论文部分内容阅读
随着互联网技术的发展,网络给人们的日常生活带来了极大的便利,但复杂的网络架构使得网络的维护工作越来越困难,网络服务提供者需要及时的检测和处理网络故障。目前在网络故障检测领域中存在如下几个问题:(1)网络中的大部分流量是正常通信产生的,由于一些稀有的故障流量非常少,存在着数据不平衡的问题,从而导致网络故障检测模型无法正确的识别出稀有的故障;(2)基于单机集中式收集数据进行网络故障检测模型训练的方式会带来巨大的数据存储压力以及存在数据隐私泄露问题。为解决上述问题,本文的主要工作如下:1.针对于网络故障检测领域中存在的数据不平衡问题,本文提出了用于解决数据不平衡的网络故障检测模型DNFD-SRU。DNFD-SRU模型通过采用focal loss权重惩罚函数使得模型更加关注于数据量少的样本,避免了数据不平衡对模型效果的影响,提升了模型对于少数类故障的识别效果。同时通过SRU避免循环神经网络存在前后依赖导致模型训练慢的问题,提高了故障检测的实时性。2.针对于单机集中式收集数据进行网络故障检测模型训练存在的数据隐私泄露和数据存储压力的问题,本文采用了不需要集中收集训练数据且具有隐私保护功能的联邦分布式机器学习技术来进行网络故障检测模型的训练。同时针对传统联邦分布式聚合算法未能考虑各个参与方数据质量和训练效果的问题,本文提出了一种充分考虑各个联邦参与方所拥有的数据质量以及训练效果的方法,根据不同参与方每次参与训练时的验证集准确率,在全局模型聚合时施加一定的惩罚项,提高了全局模型的效果。3.基于以上研究,本文设计并实现了一个网络故障检测系统,将上述成果应用到系统中,并从系统架构、前端显示、后端算法模块、数据存储模块以及最后的工程实现进行了详细描述。最后对实现的网络故障检测系统进行了相应的功能测试,测试结果表示其能较好的检测出自建数据集中的网络拥塞、设备宕机等故障。