论文部分内容阅读
摘要：本文介绍了分布式入侵检测系统的重要性和现有分布式入侵检测系统的局限性，提出了一种基于数据融合和数据挖掘的分布式入侵检测系统模型（DIDSFM），叙述了数据融合和数据挖掘应用于分布式入侵系统的意义，并详细说明了系统的体系结构和工作原理。
关键词：入侵检测系统；数据融合；数据挖掘；分布式
中图分类号：TP312文献标识码：A文章编号：1009-3044(2008)24-1106-02
Design of DIDS Based on Data Fusion and Data Mining
HU Zhong-dong,SHI Hai-ping,ZENG Zhi-yong
(College of Information Engineering,Jiangxi University of Science and Technology,Ganzhou 341000,China)
Abstract:This paper introduce the importance of distributed intrusion detection as well as limitation of present distributed intrusion detection,The paper provides a new model for the intrusion detection system based on data fusion and data mining(DIDSFM),explains the use of data fusion and data mining technology in distributed intrusion detection,and formulate the system’s architecture,principle.
Key words: intrusion detection system;data fusion;data mining;distribution
1 引言
随着计算机网络特别是国际互联网的不断发展，经济、信息的全球化已成为人类发展的大趋势，而网络系统结构也日益复杂化和大型化，系统的弱点和漏洞日趋向于分布式，同时攻击者技术也日趋成熟，尤其协作式入侵行为的出现，传统的集中式入侵检测系统已很难满足当前的需要，因此有必要将检测分析过程也实现分布，分布式入侵检测系统（Distributed Intrusion Detection System，DIDS）在入侵检测体系结构基本框架上引入了分层次过滤、分布处理、分层管理等思想，将多个类似单传感器的探头或代理分布在网络中的各个关键点上，通过一定的体系结构，相互协作形成一个有机整体，从而能够得到和了解网络整体的安全状况，并进行检测和报警，有效缓解了上述问题，因此，研究分布式入侵检测系统是十分有必要的[1-2]。
2 现有分布式入侵检测系统的局限性
分布式入侵检测系统是是一种分布于网络环境的入侵检测系统，用于监视与网络相连的主机及网络自身，综合运用基于主机和网络的检测技术，从网络的不同节点检测恶意攻击行为，通过相互协作提高入侵检测能力。目前现有的分布式入侵检测系统主要存在以下缺点：
1) 告警洪流：多种类型、多点分布的传感器，使分布式IDS产生大量的数据，在一些情况下很容易产生大量相似的警报，造成警报洪流。有效管理这些数据是一个具有挑战性的问题；
2) 高误报率问题：目前IDS的误报率有可能高达90%以上，这些误报将耗费管理员的大量精力，常常使其失去了对真实警报的敏感性；
3) 告警关联性和自适应性差：目前大多数分布式IDS只是在数据采集上实现了分布式，数据的分析、入侵的发现以及管理等还是由单个程序完成，这样的结构缺乏对整个安全态势的全面知情;缺少应对复杂的分布式攻击的手段；系统缺乏灵活性和可配置性等缺点，而且目前大多数分布式IDS主要依靠管理员手工分析编码和编写检测规则，致使其扩展性和适应性难以满足新的安全需求。
数据融合技术和数据挖掘技术为分布式IDS解决上述问题提供了一个重要的技术途径，数据融合是一个多级别、多层次的处理过程，它能对多源异质数据和信息进行检测、互联、相关、估计和综合以得到精确的状态估计和属性估计，以及完整和及时的态势评估和威胁估计，将数据融合技术应用于分布式入侵检测系统，把多个异质分布式传感器处的各种数据和信息综合输入到一个统一的处理过程，来评估整个网络环境的安全性能，增强了告警关联性，减少了告警洪流，降低了误报率。数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据集中识别有效的、新颖的、潜在有用的。以及最终可理解的模式的过程。分布式入侵检测系统可以利用数据挖掘技术从海量数据中及时、准确地提取未知的检测模型并生成相应的模式规则，可以大大增强分布式IDS的扩展性和自适应性。
在此我们提出一个基于数据融合和数据挖掘的分布式入侵检测系统模型 (Distributed Intrusion Detection System based on Data Fusion and Mining ,DIDSFM)。
3 DIDSFM系统体系结构
基于数据融合和数据挖掘技术的DIDSFM体系结构包括多个入侵检测传感器、数据采集模块、数据库、数据融合功能模块、数据挖掘功能模块、检测器模块、联动模块。如图1所示：
图2 DFIAMDS数据融合模块示意图
图3 DIDSFM数据挖掘模块示意图
DIDSFM首先通过数据采集模块获取遍布系统的入侵检测传感器的原始信息; 之后将数据传给数据求精模块，该模块主要完成数据的处理和转换，实现多维模型的转换、数据的汇总和采样; 然后利用推理算法进行对象求精(归整)过程，并抽象生成相应的对象库，其中，特征提取后的特征可以直接作为输入传送到威胁评估模块，这样做的目的是加快威胁评估的响应速度，对象求精模块采用基于集中式的特征级融合结构来实现；进一步利用状态求精算法，对在此聚集的对象的协同行为、依赖、公共起源、公共协议、公共目标、相关攻击率或其它高层属性进行检测，经过推理得出状态库；然后利用威胁评估模块结合安全策略和当前状态库的状态进行威胁评估，并将威胁程度信息输出到状态库；资源管理模块负责评估和监控整个融合系统的运行情况，并根据状态库的威胁程度信息来调整相应的融合处理的优先级和资源分配，以及动态地调整数据预处理的过滤策略。
5 数据挖掘模块
数据挖掘模块融合了神经网络、遗传算法、规则推理、决策树、人工智能和数据库系统等多门技术，主要功能是从原始信息的训练数据集合中及时、准确地提取未知的检测模式或规则，增强了分布式入侵检测系统的可扩展性和环境适应性，进一步提高了入侵检测性能。
DIDSFM的入侵检测数据挖掘过程如图3所示。
DIDSFM首先通过数据采集模块获取遍布系统的入侵检测传感器的原始信息；之后预处理模块将采集来的海量原始数据，经过数据清洗与集成、数据选择与变换、相关性分析(特征、选择)、离散化和概念分层等，将数据转换成适合数据挖掘的形式，存储到DM数据库中；关联规则、序列规则数据挖掘模块负责从DM数据库中挖掘关联规则和序列规则，发现正常模式，生成基于异常检测的规则，分类算法数据挖掘模块负责从DM数据库中经过训练过的数据集进行学习，提取出分类规则，用于误用检测，并将新生成的规则和存储到DM数据库中；DM数据库会自动将更新过的规则和模型传递给规则库模块，用于入侵检测判别。
6 联动模块
联动模块的功能是根据检测引擎产生的入侵判断执行预定的响应措施，通过协调整合各种系统和设备来提高入侵检测系统的整体性能，以适应网络安全整体化、立体化的要求。整个系统利用一套开放的标准描述语言或者AP1来实现相互通信，目前可以选择Checkpoint公司的Opsec或者国内的Topsec标准[3]。
7 结束语
传统分布式入侵检测具有告警洪流、告警关联性差、误报率高和扩展性差等问题，而基于数据融合和数据挖掘的分布式入侵检测系统可以很好的解决这个问题。在本文提出的系统中，数据融合模块和数据挖掘模块协同工作，共同完成入侵检测任务，其中数据融合模块负责多源异质数据的融合处理，增强告警关联性，提高入侵识别效能和准确性，数据挖掘模块负责及时、准确生成新的入侵检测模型，提高系统的自适应性。建立一个直接应用的基于数据融合和数据挖掘的分布式入侵检测系统是一个大型、复杂的过程，要步入实用阶段还有大量的工作需要进行。
参考文献：
[1] 陈志文.分布式入侵检测系统报警数据融合技术研究与实现[D].中国工程物理研究院硕士论文,2005.
[2] 胡昌振.网络入侵检测原理与技术[M].北京:北京理工大学出版社,2006.
[3] 阎飞,汪生,朱磊明.基于数据融合和数据挖掘技术的入侵检测系统设计[J].计算机工程与科学,2004,26(4):15-18.
[4] 王毅.基于分布式体系结构的网络入侵检测系统(DIDS)[J].电脑知识与技术,2007,1(4):977-1000.
[5] 罗守山.入侵检测[M].北京:北京邮电大学出版社,2004.
[6] Smarandaehe F,Dezert J.ProPortional confict redistribution rules for information fusion[J].sumbitted to ISIF Journal of Advances in Information Fusion,2004,27(5):298-312.
关键词：入侵检测系统；数据融合；数据挖掘；分布式
中图分类号：TP312文献标识码：A文章编号：1009-3044(2008)24-1106-02
Design of DIDS Based on Data Fusion and Data Mining
HU Zhong-dong,SHI Hai-ping,ZENG Zhi-yong
(College of Information Engineering,Jiangxi University of Science and Technology,Ganzhou 341000,China)
Abstract:This paper introduce the importance of distributed intrusion detection as well as limitation of present distributed intrusion detection,The paper provides a new model for the intrusion detection system based on data fusion and data mining(DIDSFM),explains the use of data fusion and data mining technology in distributed intrusion detection,and formulate the system’s architecture,principle.
Key words: intrusion detection system;data fusion;data mining;distribution
1 引言
随着计算机网络特别是国际互联网的不断发展，经济、信息的全球化已成为人类发展的大趋势，而网络系统结构也日益复杂化和大型化，系统的弱点和漏洞日趋向于分布式，同时攻击者技术也日趋成熟，尤其协作式入侵行为的出现，传统的集中式入侵检测系统已很难满足当前的需要，因此有必要将检测分析过程也实现分布，分布式入侵检测系统（Distributed Intrusion Detection System，DIDS）在入侵检测体系结构基本框架上引入了分层次过滤、分布处理、分层管理等思想，将多个类似单传感器的探头或代理分布在网络中的各个关键点上，通过一定的体系结构，相互协作形成一个有机整体，从而能够得到和了解网络整体的安全状况，并进行检测和报警，有效缓解了上述问题，因此，研究分布式入侵检测系统是十分有必要的[1-2]。
2 现有分布式入侵检测系统的局限性
分布式入侵检测系统是是一种分布于网络环境的入侵检测系统，用于监视与网络相连的主机及网络自身，综合运用基于主机和网络的检测技术，从网络的不同节点检测恶意攻击行为，通过相互协作提高入侵检测能力。目前现有的分布式入侵检测系统主要存在以下缺点：
1) 告警洪流：多种类型、多点分布的传感器，使分布式IDS产生大量的数据，在一些情况下很容易产生大量相似的警报，造成警报洪流。有效管理这些数据是一个具有挑战性的问题；
2) 高误报率问题：目前IDS的误报率有可能高达90%以上，这些误报将耗费管理员的大量精力，常常使其失去了对真实警报的敏感性；
3) 告警关联性和自适应性差：目前大多数分布式IDS只是在数据采集上实现了分布式，数据的分析、入侵的发现以及管理等还是由单个程序完成，这样的结构缺乏对整个安全态势的全面知情;缺少应对复杂的分布式攻击的手段；系统缺乏灵活性和可配置性等缺点，而且目前大多数分布式IDS主要依靠管理员手工分析编码和编写检测规则，致使其扩展性和适应性难以满足新的安全需求。
数据融合技术和数据挖掘技术为分布式IDS解决上述问题提供了一个重要的技术途径，数据融合是一个多级别、多层次的处理过程，它能对多源异质数据和信息进行检测、互联、相关、估计和综合以得到精确的状态估计和属性估计，以及完整和及时的态势评估和威胁估计，将数据融合技术应用于分布式入侵检测系统，把多个异质分布式传感器处的各种数据和信息综合输入到一个统一的处理过程，来评估整个网络环境的安全性能，增强了告警关联性，减少了告警洪流，降低了误报率。数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据集中识别有效的、新颖的、潜在有用的。以及最终可理解的模式的过程。分布式入侵检测系统可以利用数据挖掘技术从海量数据中及时、准确地提取未知的检测模型并生成相应的模式规则，可以大大增强分布式IDS的扩展性和自适应性。
在此我们提出一个基于数据融合和数据挖掘的分布式入侵检测系统模型 (Distributed Intrusion Detection System based on Data Fusion and Mining ,DIDSFM)。
3 DIDSFM系统体系结构
基于数据融合和数据挖掘技术的DIDSFM体系结构包括多个入侵检测传感器、数据采集模块、数据库、数据融合功能模块、数据挖掘功能模块、检测器模块、联动模块。如图1所示：
图2 DFIAMDS数据融合模块示意图
图3 DIDSFM数据挖掘模块示意图
DIDSFM首先通过数据采集模块获取遍布系统的入侵检测传感器的原始信息; 之后将数据传给数据求精模块，该模块主要完成数据的处理和转换，实现多维模型的转换、数据的汇总和采样; 然后利用推理算法进行对象求精(归整)过程，并抽象生成相应的对象库，其中，特征提取后的特征可以直接作为输入传送到威胁评估模块，这样做的目的是加快威胁评估的响应速度，对象求精模块采用基于集中式的特征级融合结构来实现；进一步利用状态求精算法，对在此聚集的对象的协同行为、依赖、公共起源、公共协议、公共目标、相关攻击率或其它高层属性进行检测，经过推理得出状态库；然后利用威胁评估模块结合安全策略和当前状态库的状态进行威胁评估，并将威胁程度信息输出到状态库；资源管理模块负责评估和监控整个融合系统的运行情况，并根据状态库的威胁程度信息来调整相应的融合处理的优先级和资源分配，以及动态地调整数据预处理的过滤策略。
5 数据挖掘模块
数据挖掘模块融合了神经网络、遗传算法、规则推理、决策树、人工智能和数据库系统等多门技术，主要功能是从原始信息的训练数据集合中及时、准确地提取未知的检测模式或规则，增强了分布式入侵检测系统的可扩展性和环境适应性，进一步提高了入侵检测性能。
DIDSFM的入侵检测数据挖掘过程如图3所示。
DIDSFM首先通过数据采集模块获取遍布系统的入侵检测传感器的原始信息；之后预处理模块将采集来的海量原始数据，经过数据清洗与集成、数据选择与变换、相关性分析(特征、选择)、离散化和概念分层等，将数据转换成适合数据挖掘的形式，存储到DM数据库中；关联规则、序列规则数据挖掘模块负责从DM数据库中挖掘关联规则和序列规则，发现正常模式，生成基于异常检测的规则，分类算法数据挖掘模块负责从DM数据库中经过训练过的数据集进行学习，提取出分类规则，用于误用检测，并将新生成的规则和存储到DM数据库中；DM数据库会自动将更新过的规则和模型传递给规则库模块，用于入侵检测判别。
6 联动模块
联动模块的功能是根据检测引擎产生的入侵判断执行预定的响应措施，通过协调整合各种系统和设备来提高入侵检测系统的整体性能，以适应网络安全整体化、立体化的要求。整个系统利用一套开放的标准描述语言或者AP1来实现相互通信，目前可以选择Checkpoint公司的Opsec或者国内的Topsec标准[3]。
7 结束语
传统分布式入侵检测具有告警洪流、告警关联性差、误报率高和扩展性差等问题，而基于数据融合和数据挖掘的分布式入侵检测系统可以很好的解决这个问题。在本文提出的系统中，数据融合模块和数据挖掘模块协同工作，共同完成入侵检测任务，其中数据融合模块负责多源异质数据的融合处理，增强告警关联性，提高入侵识别效能和准确性，数据挖掘模块负责及时、准确生成新的入侵检测模型，提高系统的自适应性。建立一个直接应用的基于数据融合和数据挖掘的分布式入侵检测系统是一个大型、复杂的过程，要步入实用阶段还有大量的工作需要进行。
参考文献：
[1] 陈志文.分布式入侵检测系统报警数据融合技术研究与实现[D].中国工程物理研究院硕士论文,2005.
[2] 胡昌振.网络入侵检测原理与技术[M].北京:北京理工大学出版社,2006.
[3] 阎飞,汪生,朱磊明.基于数据融合和数据挖掘技术的入侵检测系统设计[J].计算机工程与科学,2004,26(4):15-18.
[4] 王毅.基于分布式体系结构的网络入侵检测系统(DIDS)[J].电脑知识与技术,2007,1(4):977-1000.
[5] 罗守山.入侵检测[M].北京:北京邮电大学出版社,2004.
[6] Smarandaehe F,Dezert J.ProPortional confict redistribution rules for information fusion[J].sumbitted to ISIF Journal of Advances in Information Fusion,2004,27(5):298-312.