随着全球互联网的快速发展,网络和计算机正逐步被广泛应用到现代社会的各个领域,互联网购物、互联网金融、网上社交、在线教育等。互联网正逐渐显示其强大的生命力,移动互联网的出现,也让网络变得更加触手可及,毫无争议互联网正在改变着人们的行为方式和生活方式。然而网络攻击与入侵行为对于国家安全、经济、社会生活造成了极大的威胁。因此,信息安全问题逐渐成为信息产业的焦点问题,并已成为国家安全的重要组成部分。入侵检测是网络安全领域的重要组成部分,涉及到审计日志分析、系统漏洞检测、网络连接检测等多种技术。入侵检测系统可以分为基于异常的入侵检测技术和基于误用的入侵检测技术,基于异常的检测技术通过构建正常用户行与当前观察到的系统用户行为做比较来判断是否存在入侵。基于误用的入侵检测通过模式匹配来来判断当前是否为已知攻击。现有的入侵检测系统依赖于安全专家的经验、规则库的更新存在延迟等缺陷。数据挖掘是机器学习在数据库中的具体应用,数据挖掘研究可以在关联规则和聚类分析等几方面对入侵检测提供依据,从而为制定防护策略做出贡献。本文首先在理解数据挖掘算法的基础上,对算法的不足之处提出了改进;其次着重研究将数据挖掘技术应用于现有的入侵检测系统中,对网络连接数据进行关联分析,以发掘出入侵行为的特征规则,并从测试数据集中构造出入侵模型;最后构造了基于Storm的用于实时检测的入侵检测系统平台。本文在第三章介绍了数据挖掘技术在入侵检测系统中的应用,包括SVM分类技术在入侵检测中的应用、K-means聚类技术、Apriori关联规则如何应用于入侵检测;然后分析了改进的K-means算法和Apriori_FP_tree算法,改进的K-maens能更好的得到聚类参数K,Apriori_FP-tree算法能有效的减少扫描数据库的次数内存使用率。并在KDDCUP99数据集上验证了算法的可行性。第四章构建了基于Snort的扩展系统模型,该模型主要用于实时传输异常日志,该模型平台基于Scribe、Kafka、Storm。Scribe用于收集Snort异常日志,Kafka是用于处理活跃的流式数据的消息系统,Storm用于计算,其输出为用于Snort规则库的入侵规则和可用于基于异常的入侵检测系统的正常用户行为模型。第五章对本论文的工作做出总结并对未来需要继续的工作做了简单介绍。