【摘 要】
:
在网络运维管理工作中,为了有效保证网络系统稳定可靠运行,网络管理者需要密切监控KPI(Key Performance Indicator,关键性能指标)的变化情况,基于指标中呈现出的异常现象,及时的发现网络服务故障,以规避网络系统升级与技术变更所带来的风险。然而,随着互联网公司业务及服务规模,以及网络系统规模的不断增长,传统网络运维管理手段在复杂实际场景下KPI异常检测任务中面临诸多挑战与困难。基
论文部分内容阅读
在网络运维管理工作中,为了有效保证网络系统稳定可靠运行,网络管理者需要密切监控KPI(Key Performance Indicator,关键性能指标)的变化情况,基于指标中呈现出的异常现象,及时的发现网络服务故障,以规避网络系统升级与技术变更所带来的风险。然而,随着互联网公司业务及服务规模,以及网络系统规模的不断增长,传统网络运维管理手段在复杂实际场景下KPI异常检测任务中面临诸多挑战与困难。基于机器学习的KPI异常检测技术,作为一种网络故障早期预警及风险评估的重要手段,是当前网络风险控制的必然发展方向以及重要决策基础。为解决现实网络管理中KPI异常检测任务中所面临挑战与困难。本文对KPI异常检测工作中数据通用化特征构建、特征增广、特征降维及模型迁移技术等问题进行了研究,主要工作和创新如下:首先,提出了面向KPI的通用化特征提取方法及一种无监督特征增广技术。本文基于真实场景的KPI探索分析提出了面向KPI的通用化特征提取方法,并提出使用三种快速无监督异常检测算法对原始特征数据进行特征增广的方法,提高了KPI特征表示在多种异常检测算法的泛化性能表现。实验表明,本文提出的通用化特征提取方法及无监督特征增广技术,在多个KPI异常检测任务中能够取得了平均F-sore0.93的表现。其次,提出了一种基于集成模型特征贡献度解释的特征降维技术。基于对集成异常检测模型的解释性研究,同时结合SHAP值对数据不同特征的分析,提出一种基于模型解释的特征降维技术。实验表明,提出方法能够在保证异常检测结果精准的前提下,显著提高XGBoost异常检测模型训练速度,对异常检测模型给出直观解释,有助于网络管理者进一步结合实际业务背景完成网管知识的深入总结与研究。最后,提出了一种面向KPI的快速时间序列聚类算法,用来实现基于KPI曲线相似性分析,及相应模型迁移策略的设计。通过提出方法,本研究显著提高了模型训练过程中有标签样本利用率,实验表明,本研究提出的迁移学习技术能够有效提高有监督异常检测模型的适用场景,并减少模型训练与数据标注的开销。基于聚类的相似性分析结果能够有效指导模型迁移,较好解决了实际场景中异常样本稀缺标注困难的问题。
其他文献
近来几年,由于有监督的深度学习技术飞速迭代进步,很大程度地推动了人工智能应用的发展[1]。基于大规模有标注数据集[2]的出现,才有了有监督学习的深度学习的发展。但是由于手工标注数据集既昂贵又耗时[3]、数据集标注错误难以避免、标注时需要面向领域的专业知识、原始数据质量参差不齐,这些问题严重制约着高质量标注数据的产生。因此,面向实际场景的数据集标注,具有极强的现实意义和研究价值,是一个亟待解决的问题
随着5G技术逐渐成熟及其商业应用产品慢慢普及,原本发展了数年的边缘计算进一步成为了研究热点,将人工智能技术与边缘计算领域融合更是引起了研究者们的强烈兴趣。但是,内存消耗型和计算密集型的深度学习算法与资源匮乏型的边缘终端硬件形成巨大冲突。本文针对边缘计算与深度学习的融合需求,将只有8KB内存的微型开发板作为研究和移植目标平台,深入分析了模型压缩、模型拆解、自动编码和模型存储关键技术,并在此基础上提出
党的十九届六中全会通过的《中共中央关于党的百年奋斗重大成就和历史经验的决议》强调,确立习近平同志党中央的核心、全党的核心地位,确立习近平新时代中国特色社会主义思想的指导地位,反映了全党全军全国各族人民共同心愿,对新时代党和国家事业发展、对推进中华民族伟大复兴历史进程具有决定性意义。"两个确立"既是深刻总结党的百年奋斗、党的十八大以来伟大实践得出的重大历史结论,更是新时代党和国家事业发展、推进
海杂波下的弱小目标检测一直是雷达检测跟踪识别领域的重难点问题。该课题在军事、民用上均有重要应用,军事方面可以用来检测潜望镜、远距离水面舰艇、掠海飞行器等,民用上可用来监控海上偷渡、非法贸易、预防船只相撞。高海况下,海杂波的后向电磁散射特性较强,雷达回波中的目标信号容易被海面浪、涌造成的海尖峰掩盖,给检测带来困难。传统的雷达目标检测方法存在诸多缺陷,低信杂噪比下虚警较多、海杂波复杂多变,传统方法在拟
卫星测控通信模拟器是一种专门与地面测控通信系统在卫星发射前进行联试和对接的仿真设备,主要用于验证地面测控通信系统在接口、信息交换、测控程序的正确性和协调性。在历次卫星发射测控中,测控通信模拟器发挥了至关重要的作用。随着我国第三代航天测量船的投入使用并将参加各项测控任务,为确保测量船测控通信系统的功能正确,必须利用卫星测控通信模拟器进行联试检验,为新测量船研制新的卫星测控通信模拟器成为必然。在分析了
卫星遥感影像是一种高度结构化的数据资源。将以深度学习为代表的现代计算机视觉技术与遥感数据分析结合起来,是当前研究的热点。其成果可能会对人们理解环境方式产生巨大影响,在农业、城市规划、可持续发展、应急救援、自然灾害的早期探测和预防等方面都可以提供关键支撑。地表覆盖类型分类是上述应用的基础,其目的是将卫星图像中的每一个像素划分为一个特定的土地覆盖类别。论文在此基础上展开基于深度学习的遥感影像地表覆盖类