网络设备性能和通讯技术的飞速提升让互联网与人民生活深度融合,带来便利的同时,网络安全问题也日渐严峻。网络安全对社会、经济、政治、军事有着深远影响,是国家安全的基石,而入侵检测系统是应对网络安全问题的重要手段之一。传统的基于误用检测算法的检测系统使用模式匹配的方法检测攻击事件,虽然有误报率低、速度快等特点,但需要事先指定攻击行为,没有检测新型攻击的能力,系统漏报率高,且需要大量的专家经验。随着人工智能的发展,运用了人工智能算法的检测系统通过特征匹配的检测方式,不仅有较高的检测准确率,且具有适应新攻击的能力,成为目前发展研究的热点。本文通过研究现有人工智能算法,为系统设计适合的入侵检测模型,使用大数据技术Spark实现系统,使系统拥有并行计算能力。本文的主要工作和创新点如下:（1）系统实时采集Web日志,通过Web日志检测SQL、XSS注入攻击。针对系统Web日志检测模型的设计,为了使模型兼顾检测准确率与检测效率,利用Git Hub开源Web日志数据和CSIC2010数据集,对比分析人工特征提取和TF-IDF两种特征提取方式,结合常见的五种传统机器学习算法在检测准确率、检测效率上的检测效果,择优选择人工特征提取方式结合XGBoost算法作为Web日志检测的检测模型。为避免人工特征提取存在冗余特征,通过实验发现采用m RMR-XGBoost特征选择算法,相比使用单一特征选择方法具有更好的选择效果,减少特征维度的同时进一步提升了模型检测准确率。（2）系统实时监控网络流量数据,根据网络流量检测Dos攻击、暴力破解、端口扫描等多种入侵行为。针对系统网络流量识别的模型设计,因训练样本外的未知攻击是导致检测误报和漏报的主要原因之一,为了使模型能够识别训练样本外未知攻击,利用CICIDS2017数据集,在Le Net网络模型基础上进行改进,添加置信度输出,使模型在已知攻击分类准确率较高的前提下实现对未知攻击的有效识别。（3）为了避免系统在大规模数据并发情况下,遇到性能瓶颈问题,引入并行计算框架Spark实现系统,利用Spark分布式计算与基于内存迭代计算特点,提高系统应对大规模数据能力,同时利用Spark的实时处理能力,满足入侵检测的实时性需求。