论文部分内容阅读
网络异常通常利用流量特征的变化来表达,因此,基于特征统计分析的异常流量检测方法是入侵检测领域的一个重要研究课题。当前基于特征统计分析的异常检测方法主要存在两个问题:(1)虽然采用流统计特征分析流量,但局限于对多维特征进行等权值处理的简单组合,造成信息损失,导致高误报率、低检测率;(2)异常分类算法把整体流量作为处理对象导致分类效率低、准确率不高。本文依托国家863计划项目的“高可信网络业务管控系统”相关课题,对现有技术存在的问题进行了深入分析和研究,根据网络异常对流量多维特征的非等权值影响这一特性,提出了相应的算法、系统结构及实现方案,有效地解决了异常检测率低、分类准确率不高的问题。论文的具体研究工作如下:1.提出半监督联合模型,并设计了基于半监督联合模型的异常流量检测算法。针对将多维特征进行简单组合而导致准确率低的问题,提出了一种半监督联合模型SMC。模型融合若干独立检测器的判决结果,通过求解非线性优化问题使联合过程信息损失最小化,半监督学习方式利用已标记数据使模型及其参数更加准确。在SMC模型指导下,设计了基于半监督联合模型的异常流量检测算法SMC-FCM。经仿真验证,该算法比单个基本检测器的准确率提高了10%到20%,在误报率5%的条件下检测准确率达到97%。2.提出了基于特征熵的异常流识别算法。针对现有技术通过正常流特征模型识别异常流所导致的准确率低问题,提出了基于特征熵的异常流识别算法EFATI。该算法通过动态修正模型描述流特征,使用特征熵表征特征参数的分布变化,并提出了针对聚合流的分割缩减算法,通过异常检测函数的计算排除所有正常流,从而识别出异常的根源流集合。经仿真实验表明,EFATI算法在误报率5%的情况下识别准确率达到96.5%,对多种类型的人工注入异常的流识别平均精度达到82%。3.提出了基于层次聚类的网络异常分类算法。针对当前异常在线分类方法分类效率低、准确率不高的问题,建立了最佳分类模型,选取有效区分异常类型的流特征构建属性向量,利用遗传算法逼近参数的最优值。在该模型指导下,提出了基于层次聚类的异常分类算法TAC-HC,在未知数据集聚类数的情况下对未知类型的异常进行在线分类。仿真实验表明,在误判率5%的情况下,TAC-HC算法的异常分类平均准确率达到96%,对网络扫描这类小异常的分类精度也能达到95.3%。4.设计了一种异常流量检测系统FS-ADS的实现方案。针对高可信网络业务管控系统对异常流量检测及分类准确性的需求,设计了FS-ADS系统的实现方案,详细描述了异常检测、识别和分类等五个模块的实现结构。基于异常比例、时间间隔和实时性的仿真测试对系统性能进行了评价。仿真测试结果表明,FS-ADS系统在异常比例小于30%、统计时间间隔为5分钟时具有最佳的异常检测、识别和分类性能,处理100万条流记录的耗时在200秒以内,满足系统的实时性设计要求。