入侵检测是计算机网络安全体系的重要环节。根据检测原理的不同,入侵检测系统可分为误用检测和异常检测。误用检测对已知的入侵行为建模,能够准确识别出已知入侵。异常检测根据目标系统的正常行为轮廓特征训练出正常行为模型,如果检测到当前行为偏离了正常行为模型,则认为系统遭到入侵。异常检测适应性较好,具备检测未知入侵的能力。传统的基于主机或网络的异常检测系统效率低下,难以达到实用的要求,其原因是多方面的:检测目标选择不当,检测数据源缺乏针对性;缺乏有效的训练数据净化算法,难以获得纯净的训练数据集;正常行为模型训练困难,模型的描述能力不足;检测算法开销太大,无法应用于实时的在线检测。为此,以Web系统作为目标平台,提出一种新的基于应用的异常检测技术,涵盖了Web系统漏洞分析与分类、检测数据源的选取与评估、数据模型的抽象与净化、检测模型的训练与优化等多方面的内容。在分析大量Web应用入侵实例的基础上提出了一种新的Web漏洞分类机制,Web系统漏洞分类研究对于选取检测数据源以及建立训练数据集具有重要的指导意义。异常检测的基本假设是入侵会导致系统行为异常,检测数据源的选取与评估必须以能够涵盖系统异常行为为标准。详细分析Web系统行为,将描述系统行为的原始检测数据源以记录为单位抽象为单元事件和复合事件,以事件序列作为检测数据集的统一格式,这种统一格式称为数据模型。在得到事件序列后,异常检测简化为事件的异常分析:训练得到描述系统正常行为轮廓的正常行为模型,将正常行为模型称为检测模型;以检测模型为基准,采用适当的检测算法评估待测事件子序列相对于基准的偏离,这种偏离的量化称为异常分值;当异常分值超过指定阈值时即认为在该子序列中发生异常,异常的事件子序列描述了入侵行为。采用PWM短序列模式匹配算法和关联规则匹配算法对HTTP连接记录序列等5种事件序列进行异常分析,评估了各种事件序列对应的检测数据源针对各类Web应用入侵的检测敏感性。检测模型的质量直接决定了检测效率。以单元事件序列和复合事件序列作为数据模型,详细介绍了事件流程图、模糊命题规则库以及模糊关联规则库等检测模型的训练和优化过程,并提出了基于各检测模型的多种检测算法。对于单元事件序列,提出了基于间隙型变长频繁短序列(GV-Gram)模式的异常检测方法。在详细分析程序过程调用序列的结构特征的基础上,定义了GV-Gram模式,涵盖了程序流程中顺序、选择和循环三种基本结构。为了挖掘出GV-Gram模式库,以TEIRESIAS算法为基础,提出了新的带冗余控制的GV-Gram模式生成算法。事件流程图是GV-Gram模式库的图形化表达形式,能够精确描述程序行为。与已经提出的一些频繁短序列模式匹配算法相比,采用事件流程图作为检测模型的异常检测算法在模型规模控制、检测效率以及检测开销等方面具有明显优势。对于复合事件序列的净化,提出了基于偏离的孤立事件挖掘方法。首先,该方法整合了连续、离散和复合离散三种复合事件属性,通过补偿连续值属性和离散值属性之间数值上的差异,提供了复合事件之间距离的统一计算公式。其次,提出了用于构造异常集的中心偏离优先异常集增长算法,将异常集中的事件从复合事件序列中剔除,得到相对纯净的训练数据集。复合事件序列的异常检测采用了模糊命题规则库和模糊关联规则库作为检测模型。复合事件的连续值属性离散化是规则挖掘的前提条件,引入模糊逻辑的目的是消除离散化过程中的边界锐化效应。在属性模糊化过程中,隶属度函数参数的优化采用了遗传算法。在离线检测策略中,海量检测数据的传送采用零拷贝优化技术,降低了传送开销。模糊命题规则库的实质是模糊决策树。为了训练得到模糊决策树,提出了局部动态最优模糊决策树生长算法,算法采用贪心策略,确保每个连续值属性在作为分类节点时,其属性模糊化后的隶属度函数参数都是局部最优的。利用数据挖掘中的关联分析技术挖掘出模糊关联规则库:首先对经典的Apriori算法加以改造,结合模糊逻辑提出了频繁模糊项集挖掘算法,然后将算法输出的频繁模糊项集转化为模糊关联规则库。对于复合事件序列的异常检测,综合分析了规则库相似度检测等多种检测算法,从训练开销、检测开销和检测效率等方面对各算法进行了对比实验。其中,两种新的基于模糊决策树和模糊关联规则库的算法具有较好的综合性能。