Spark框架下基于无指导学习环境的网络流量异常检测研究与实现

来源 :信息网络安全 | 被引量 : 0次 | 上传用户:mzl521fnn1314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对海量数据进行入侵检测的困难性问题,文章设计并实现了一套基于Spark框架的网络流量无指导学习异常检测系统。数据的预处理采用Python和Python的数据升级版IPython实现,异常检测采用无指导学习环境下的快速聚类方法 K-means预测以及划分流量方法,记录所代表的攻击类型。为了避免Map Reduce等传统分布式计算框架频繁的硬盘读写带来的巨大时间开销,文章设计实现了Spark框架下的K-means异常检测方法,通过将每轮迭代产生的临时数据存入内存而非硬盘中,有效提高了K-means聚类检测算
其他文献
后见之明效应非常普遍,但对其机制的探讨还存在很大争议。本文总结了儿童后见之明效应的研究,并比较了儿童后见之明效应与心理理论发展的异同。在此基础上,本文从发展的角度
基因组学在生命科学研究中的地位举足轻重,越来越多受到科研工作者的重视,但有关的研究综述报道却不多。笔者从基因家族分析、全基因组复制、系统进化树构建、正选择分析、共
目的:研究补肾健脾方对于封闭抗体阴性的复发性流产的临床疗效及安全性。方法:中医辨证为脾肾两虚型的封闭抗体阴性的复发性流产患者共61例,随机分为中医治疗组(35例)及对照
<正> 峪道河遗址是近年来,在山西省新发现的一处重要遗址。1981年3月,山西省考古研究所对该遗址作了一次比较细致的调查,参加者有王克林、罗新、孟力、李小克、畅红霞、海金
高端装备制造业是我国国民经济发展的支柱性产业,是装备制造业的核心部分和产业价值链的高端环节,然而近些年正面临“双向挤压”的窘境。在我国制造业经济处在转型阵痛期和上
庙会时间作为传统农业社会确定社会生活的重要时间体系,在区域社会具有多样性的功能。陕西蒲城县的尧山圣母作为尧山南北这一农业区域内的民间信仰体系,其庙会祭祀时间与区域
许多人对咸阳505集团的印象,可能还停留在1990年代各大媒体铺天盖地的神功元气袋广告,以及陕西咸阳乐育北路上那段疯狂的经历:排队购买505神功元气袋的队伍从路段的这头一直排到
2017年9月20日至21日,由《铁路计算机应用》编辑部主办的全路通讯员岗位培训成功举办。来自铁路总公司、15个铁路局共计23位通讯员齐聚北京,围绕智能时代的创意与知识进行了
建立了浊点萃取-石墨炉原子吸收光谱法测定环境水样中痕量Cd(Ⅱ)的方法。Cd(Ⅱ)可与8-羟基喹啉生成螯合物,通过水浴加热,螯合物被萃取到Triton X-45表面活性剂相,经离心与水
目的了解高热惊厥患儿家长对患儿惊厥发作时的处理方法及健康教育需求,为临床开展健康教育提高依据。方法采用自行设计的调查问卷,对58例高热惊厥患儿家长进行问卷调查,内容