Internet的迅速发展给人们带来巨大方便的同时,也使我们面临着各种安全事件的威胁。随着各种攻击技术的不断发展,针对网络资源的攻击越来越多,如拒绝服务攻击、蠕虫等。因此如何在大规模网络环境下检测网络异常并为应急响应人员及时提供预警信息是目前亟待解决的问题。 大规模网络数据流的特点是数据持续到达、速度快、规模宏大,但现有的入侵检测系统对这类数据的处理能力有限,而且目前尚没有利用数据流挖掘技术来解决实际网络数据流检测和分析的技术。本文结合入侵检测技术和数据流挖掘技术设计了大规模网络数据流异常检测系统模型和网络数据流频繁模式挖掘和检测算法,实现了原型系统并进行了相关实验,具有理论意义与实际应用价值。 大规模网络数据流异常检测系统由数据采集及预处理模块、频繁模式挖掘模块、异常检测模块、数据分析及响应模块组成。在数据采集及预处理模块中,我们采用滑动时间窗口技术采集网络数据,提取流量排名在前N位的端口及其相关信息,对流量数据进行离散化处理,将得到的数据存入动态更新的概要数据库中;在频繁模式挖掘模块中,我们采用CLOSET算法挖掘网络数据流频繁模式,将得到的模式存入频繁模式数据库中;在异常检测模块中,我们优先匹配近期产生次数较多的模式,采用加权欧几里得距离计算相似度,将异常情况反馈给数据分析及响应模块;在数据分析及响应模块中,管理员根据实际情况对数据进行检验,对于异常数据进行应急处理,对于误报数据向系统反馈信息修改频繁模式。最后通过实验验证该模型的有效性。