网络的出现为人们之间信息交流提供了一个快速便利的平台,人们在享受服务的同时,往往还要慎重考虑如何有效的保护信息完整性、隐密性和可用性,这就涉及到对信息系统安全的保障。信息系统安全保障是一种防御体系,包括防护(protect)、检测(detect)、反应(react)和恢复(recovery)4个层面。入侵检测系统是其中一个重要的组成部分,扮演着计算机应用环境下“监督预警”角色。入侵检测通过收集操作系统、系统程序、应用程序、网络包等信息,发现违背安全策略或危及系统安全的行为。具有入侵检测功能的系统称为入侵检测系统,简称IDS。入侵检测系统本身的应用要求与一般的信息系统不同,入侵检测系统的安全策略要求收集尽量完整的数据,处理海量的警报有时要比对警报进行关联性分析要难的多,同时对计算要求的提高需要更高级别的硬件支持,会大大增加了应用的成本。通过赛门铁克和多个安全机构的报告,现在的网络安全状况已经由“单纯的”木马病毒的独立侵害或攻击单体的情况发展到基于“互联网+攻击团队+病毒+商业利益”联合在一起的攻击集体。针对近几年层出不穷的新型攻击和复杂多样的多步攻击,现有的入侵检测系统大多还不具备网络多步入侵的检测功能,因此国内外针对未知攻击和具有多阶段攻击过程的多步攻击的识别都展开了深入研究,并在告警关联领域取得了一定研究成果(这里要强调一点,本文的多步入侵警报关联属于告警关联方法是针对入侵检测的领域化方法研究)。有关告警关联和多步入侵的研究的应用现状,可以从在线和离线角度来分析阐述,如下两点:1)在线的入侵告警关联系统,为了提高数据兼容性,进行告警资源整合,因而检测率不高,误报率较高,同时针对多步入侵的检测识别方面研究成果很少。2)离线的关联检测率相对在线要高,但资源消耗大,不适合应用到实际应用中。本文针对现在入侵检测系统单个警报的提高检测率和降低误报率方面,以及多个警报之间的关联分析后进行多步入侵的识别方面展开研究工作,主要成果如下四个方面:1.多步入侵警报关联模型(1个模型)为了提高研究成果的实用性,针对真实应用需求,提出了基于数据挖掘的异常检测和多步入侵警报关联模型。跟国内外已有的研究成果相比,本部分主要工作整合了数据挖掘的相关方法,提出了一套可用的应用模型和建议。2.适用于异常检测的入侵关键特征(2个算法)为了提高警报数据的分析效率和效果,着重研究了数据属性的压缩技术,进行了入侵检测所要分析数据的关键属性分析工作。根据数据挖掘经典的关键属性的分析方法,采用标准的网络入侵数据集,并结合入侵检测环境下的检测特征,提出了适用于入侵检测领域的关键属性特征分析方法,并与此领域已有的研究成果进行了比较、讨论和给出了实验结果,通过实验验证了本文关键属性在异常检测领域的可用性。3.异常检测方法研究(1个算法)为了提高入侵检测的检测效果,着重研究了异常检测方法,进行了针对噪声数据离群点的聚类分析方法研究。根据入侵检测数据的特征,并结合实时检测的需要,提出了针对入侵检测实时环境的剪枝优化策略和方法,同时进行了充分的实验,并与异常检测已有的研究成果进行了比较和讨论,通过实验验证本文方法的可用价值和存在的不足,为以后的研究人员提供的此领域下的研究思路和实验数据参考。4.多步入侵警报关联方法研究(6个算法)为了实现协同/多步攻击形成的检测工作,着重研究了数据过滤、数据融合和数据的关联分析方法,进行了针对单入侵警报的数据过滤预处理、多源入侵警报融合和多步入侵警报关联分析方法研究。根据入侵检测的数据特征,采用基于概率、模糊数学和逻辑描述的分析方法,并结合入侵检测环境下的规则要求,提出基于概率的误报滤除、基于模糊数学的警报融合、基于概率和基于模糊的多步入侵警报关联方法,并进行了基于逻辑描述语言的多步入侵警报描述方法研究。同时与此领域已有的相关研究成果进行了比较和讨论,为将来进行智能化的多步入侵检测的研究工作提供了参考和相关数据,为之后的研究者进行此领域的研究提供实用的研究思路、实验方法和实验结果。本文工作主要创新点,概述如下四点:1)提出了一个基于数据挖掘的异常检测和多步入侵警报关联模型框架,基于框架展开了本文研究工作,本文框架根据应用角度提出,具有较好的可延展性。2)提出了适用于异常检测领域的入侵关键特征属性结果,与国外已有的在入侵检测领域的特征选择结果进行比较发现,本文的重要属性和均重要属性属于国外成果的子集。通过在KDD1999数据集的实验,在对准确率影响很小的情况下,检测时间能够缩短7%-16%,这有利于提高异常检测方法的实时性的应用效果。3)提出了一个具有实时使用价值的异常检测算法ADTSFC(anomaly detection withtime-stamp frequent pattern-based clustering),它基于BIRCH和ADWICE,能够进行增量检测,是带时间戳频繁模式的聚类异常检测算法。通过算法通过KDD1999数据集上的实验比较证明,可有效减少误报率,同时大大提高了检测率,相对ADWICE的检测率提高平均有10%以上,同时有效减少消耗的时空资源。4)提出了智能规划领域的形式化逻辑描述语言PDDL在多步入侵检测领域的描述方法,并通过DARPA2000数据集验证表示结果的可靠性,便于以后开展智能规划领域在入侵检测领域的扩展。(这方面在本文论文结束时还未查找到相似研究工作)我们的研究梯队一直在关注和开展网络安全方面的研究,取得了一些成果,希望能得到其他研究者的关注和指导,并进行合作和进一步交流。