随着现代社会互联网的高速发展,网络数据逐渐变得种类繁多且数量巨大,与此同时,新型攻击手段的不断涌现也使得网络安全问题变得更加棘手。因此,在大数据时代下,如何充分利用海量数据来实现对网络异常数据的分析与检测是一项非常重要的课题。近几年来随着人工智能技术的发展,利用深度学习等机器学习方法对海量数据进行分析能够取得比较好的效果。但与此同时,深度学习会带来非常大的计算资源的消耗。因此能够将深度学习能力与大数据处理能力结合在一起在网络数据分析中是非常重要的。针对上述问题,设计了一种基于Spark的网络数据分析系统。首先,将深度学习框架Keras与大数据处理平台Spark相结合,为Spark扩展深度学习能力,实现深度学习的分布式计算,使得大数据的获取与处理、数据模型的学习与应用都在一个统一的分布式集群中。其次,利用Spark Streaming流式计算的特点,系统能够对网络数据进行实时监控,对异常数据及时作出判断和响应。且通过对有效参数的调整控制实现对Spark Streaming实时计算的性能分析与预测。最后,对于Spark Streaming实时计算性能的优化,设计了一种批次时间间隔的动态调整策略,实现了实时系统低延迟与高吞吐量之间的平衡,提升计算性能。相较于传统的分布式Keras深度学习集群,基于Spark的网络数据分析系统不需要在深度学习与数据处理两个独立集群之间传递大型数据,并且能够轻松将Keras代码迁移到此平台上,减少了系统复杂性和数据传输延迟。同时对于Spark Streaming流计算来说,本系统能够更好的适应外部条件的变化,保持系统稳定性,提升计算性能。