论文部分内容阅读
网络流量分类是执行网络监测、资源管理和安全控制的必要技术手段,是通信网络领域的一个重点关注问题。传统的网络流量分类技术在处理加密流量以及用户隐私方面存在局限性而逐渐被淘汰,基于流特征的分类方法正成为研究热点。根据流特征的不同提取方式,可进一步划分为统计特征方法和深度学习方法。随着分类粒度变细统计特征方法因“特征工程”问题陷入困境;而深度学习方法则要求目标类固定且系统的训练过程庞杂,此外深度学习暂不具备自学习和自适应的能力,因此不适用于在线网络分类。于是本文深入分析网络流量特性,解析流量分类所处困境的根源,在数据相关性的基础上寻求问题解决的关键点,继而引入分形理论实现流量分类技术的革新。此外,流量分类技术最主要的目的是实现区分服务并保障异构网络环境下的端到端Quality of Service(QoS)。流量在分类传输时如果孤立与QoS的关系将会导致:同一个聚集流里的业务流可能有截然不同的QoS需求;而不同聚集流里的一些业务流可能有相同的QoS需求。这样的聚集结果明显不利于端到端QoS的执行,也有悖于众多QoS框架。为此,流量分类聚集研究需要以QoS为驱动,而现有的网络业务流到QoS类的映射一般采用定量的方式,这类方法需要业务流给出确定的QoS参数值以及QoS参数权值,而现实中这些因素往往是不确定且不精确的,于是基于偏好逻辑理论,本文提出一种定性的网络流映射方法以解决上述问题。本文主要研究工作和贡献如下:1)基于流量分形理论提出流分形特性。对流量数据进行大量观测和分析,发现导致统计特征失效的原因在于统计独立性假设,也即,假设流中持续到达的包是统计独立的,包的大小以及间隔时间也是统计独立的;但研究表明这些数据之间是紧密相关的。于是本文摈弃独立性假设,基于数据包相关性论证网络流具有分形的特性,为流分形特征用于网络流量分类提供理论基础。2)基于分形指数的流分类。众多研究表明应用程序发出的数据流总是遵循着特定的协议、传输方式和对话规则,因此同类型的业务流往往有着类似的“流形”。分形指数是分形事物描述自相似程度的一种总体表征,可借助分形指数来粗略描述流量的流形之间存在的总体差异并以此分类。实验数据表明基于分形指数的流分类技术对QQ、PPlive、GAME、BT四种视频流的分类准确率高达97%。可见分形指数对于粗粒度的流分类具有实际意义。3)小波域分形指数感知的流分类。分形指数粗略体现流形的差异,可应用于网络流量的粗粒度分类;但是随着分类粒度变细流形之间的差异减小,模糊的分形指数会导致分类不稳定,为此在小波域内提出一种获得精确分形指数的计算模型以改进不足。在该模型中,首先推导小波域内分形指数的形成过程,再基于代价函数分析最优分段,用聚类差异度方法计算分段分形指数的总体差异量,最后基于最大类间方差阈值实施分类。研究结果表明小波域分形指数具有非常强的稳定性,当实验环境发生变化该方法适应能力较强。4)基于分形谱的QoS感知流量细分类。分形指数的本质是对流形的宏观表征,因其缺乏细节特征而无法应用于细粒度的网络流量分类,为此引入分形谱来描述流形在多尺度上的复杂分形特征,刻画突发数据的细节特点并以此进行细分类。然而在现实中要准确计算网络流量的分形谱并非易事。本文采用数值分析的方法得到其估计值,为此首先定义流的测度函数τ(q),再基于经典的勒让德变换推导分形谱与测度函数τ(q)之间的等价关系,从而使用现实中容易得到的τ(q)谱来描述流在理论上的复杂分形特征并用于流量的细分类。在测试时从即时视频、流媒体等20种QoS类中随机选取500条流,实验结果表明分形谱感知的流量分类方法在QoS感知的细分类方面性能优越。5)粒子域内QoS感知的流量软分类。在动态网络中数据丢包、重传、乱序随时出现,导致待测数据与训练数据之间出现较大的偏差而不能被正确识别,为此引入粒子计算理论,提出一种改进的流量软分类模型。在软分类模型中,首先定义网络流量粒子,然后分析粒子间的分形特征形成粒关系矩阵。传统的包统计特征是粒关系矩阵当观测角度达到最大时的特例,因此粒关系矩阵对流量特性的描述更为全面,以此进行分类也更为精准。最后将本文方法与I-SVM(Support Vector Machine),K-L(Kullback Leibler),SFNN(Traffic Classification with Nearest Neighbor)等方法做比较,当QoS类动态变化时本文方法显示出较好的性能。6)基于偏好逻辑的QoS感知流聚集。流量聚集传输必须建立在QoS基础之上,为此本文提出一种定性的聚集方法,该方法基于偏好逻辑和QoE(Quality of Experience)建模网络业务流的QoS需求,借助非单调推理在动态变化的候选集QoS队列中进行选择,最终实现一种动态聚集方法。实验结果表明本文提出的流聚集方法可有效建模业务流的QoS需求;在高可变的动态环境中,当业务流QoS参数的数值或权重发生变化,或QoS队列发生变化,都能对业务流进行有效的聚集调节以充分利用系统资源。与其他聚集方法相比,本文所提的基于偏好逻辑的流聚集方法在延时、丢包率、吞吐量方面表现优良。