网络流量的离线分析

被引量 : 32次 | 上传用户:wushong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络流量分析分类技术,是网络运营商实现网络流量监测,进而有效管理网络的重要手段。目前,网络带宽资源被P2P业务大量占用,使运营商的基础网络建设陷入了“拥塞-扩容-再拥塞”的非正常局面,盈利能力相应降低,且运营商的服务质量也出现了问题,网络安全问题层出不穷。解决以上问题需要运营商在识别网络业务的基础上,针对用户不同的业务质量要求,提供差异化的服务质量保证,并抑制病毒等异常流量,以实现运营商利益最大化。因此,深度感知网络应用,提供网络业务控制和管理手段,构建可管理的和谐网络,已经成为网络运营商目前亟需研究的一个热门课题。本文致力于网络流量分类技术及分析分类系统的研究,主要研究内容和创新点如下:离线网络流量分析分类系统的设计与实现:分析网络流量特征并进行业务识别,首先需要一个分析工具。现有的网络流量测量工具很多,却没有专门的系统能够对大数据量网络镜像报文进行网络业务流量特征的分析及不同分类方法分类性能的评估。因此,本文设计并实现了一个离线网络流量分析分类系统,能够对大数据量网络镜像报文进行离线分析。该系统侧重于分析网络业务的流统计特征及其流量分布规律,并以直观的图形界面进行展现,使用户能够获得对网络业务的特征模式的直观的认识。此外,该系统还提供了多种分类方法,特别是基于流统计特征的分类方法,可以作为基于流统计特征分类的实验平台,并可以测量不同分类方法对不同网络业务的分类性能,以及评估不同网络流量分类方法在不同网络环境下的适用性。该系统为后续的网络流量分析与分类实验提供了良好的实验平台。基于流统计特征的网络流量分类方法的研究:已有网络流量分类方法大都是将单个流特征或流的社会特征分别用于分类,本文将单个流特征和流的社会特征进行了有机的结合,在我们设计并实现的离线网络流量分析分类系统基础上,通过对网络业务特征的分析,提出了一组易于提取、具有线性可分的流统计特征,采用多项逻辑斯谛回归算法即可实现网络流量分类。该分类方法较传统流量分类算法有较低的复杂度,同时可以有效解决以往对等网络(P2P)业务识别率较低的问题。此外,本文还针对现有分类算法对训练数据的质量比较敏感,仅在训练数据中的业务标识完全正确的前提下才能发挥较好的性能,而当训练数据标识中存在相当比例错误时,分类性能将急剧降低的问题,首次提出了一种基于自适应层次聚类的多变量的决策树分类算法。实验结果表明,较现有的分类算法,该算法能在不影响准确率的情况下可以显著提高分类召回率,并能有效识别训练数据中通过协议指纹无法识别的流量。本章的实验平台即利用的是第三章设计并实现的离线网络流量分析分类系统。在线多策略流量分类方法的研究与系统改进:虽然业界已对在线的基于流统计特征的网络流量分类方法进行了大量研究,但普遍存在前提条件苛刻、针对业务种类较为简单、对所有网络流进行分类使得分类效率不高等问题。本文利用第三章设计并实现的分析分类系统,在基于对协议指纹分布规律、长短流分布规律、网络业务的协议分布及常用端口的业务分布等网络流量分布规律分析的基础上,首次提出了能综合考虑多种因素的在线多策略流量分类方法。该方法不仅能在线分类,而且由于对不同的流采用了不同的识别策略,与现有在线流量分类方法及前一章提出的分类方法相比,能大幅提高现有分类方法的效率和分类及时性,并能较好地节省系统资源开销。此外,本文还利用提出的在线多策略流量分类方法对所设计并实现的离线分析分类系统进行了改进,并就基于不完全流特征对UDP长流进行分类的性能进行了分析。
其他文献
随着信息技术发展,在智能交通行业,传感器、采集装置的普及装配等各种电子采集技术的发展,交通信息数据的数据量迅速激增。面对交通拥堵、交通资源利用不合理、交通事故频发
1992年Reynolds等首次报道了从成鼠脑纹状体中分离出能够在体外增值并且具有向神经元及胶质细胞分化潜能的神经干细胞。近年来,神经干细胞的研究及应用对目前迅速发展的生命
方以智是明清之际的思想家,他出生在传统儒家氛围的家庭之中,方氏家族几辈人都有着深厚的易学根基,自己又对于老庄思想颇有见解,然而身处在明清两朝更迭时期,作为明朝移民而
<正> 为了进一步加快医疗保健制度改革的步伐,国家计委价格司、国家卫生部计财司、政策法规司于1995年5月11~12日在北京召开“两江”(镇江市、九江市,下同)医疗保健制度改革汇
<正>普惠金融的本质是要让传统金融转型罗伯特·希勒指出,现代经济条件下,经济社会的不平等性,是由金融结构的不合理造成的。这个结论在我国改革发展中也得到印证。市场化进
《建筑工程施工质量验收统一标准》(GB50300-2001)是贯彻落实《中华人民共和国建筑法》和《建设工程质量管理条例》的一项配套措施,它的贯彻将会给施工企业的质量管理、验收
目的对确定与青壮年中风误诊相关的临床因素进行分析探讨。方法对医院中风中心的青年患者进行登记和审查。对误诊的患者与诊断正确的患者的资料进行分析探讨,确定与急性卒中
本文采用快速凝固技术(铜模真空吸铸法)制得Ti-51at%Ni形状记忆合金,利用差示扫描量热法(DSC)、X射线衍射(XRD)和扫描电子显微镜(SEM)等现代检测手段对快凝制得的合金的相变及记忆性
共情、利他行为与道德之间的关系一直是道德心理学家们所关注的重要课题。以往众多研究表明,共情促进利他行为的发生,但在某些特定情境中,利他行为并不遵循道德原则。该议题
在建筑工程项目管理中,项目成本控制是一项尤为重要的工作。只有控制好项目成本才有助于增强建筑施工企业的市场竞争力。文章阐述了建筑工程项目成本控制的概念及建筑工程项