随着互联网技术与云计算的发展,各行各业的数据量都在快速增长,大数据的时代已经到来。在电信领域,用于监控网络流量的网络流量数据也在迅速增长,其存储分析急需大数据技术的支持。开源的Hadoop大数据平台顺势而出,其生态系统下的HDFS与Map Reduce两大重要组件在一定程度上解决了网络流量大数据的需求。目前,HDFS已经能够很好的完成大数据的存储,但是Map Reduce作为一个批处理模型,不能完成其他的数据分析需求,如交互式处理和流式数据处理。这也导致在分布式计算领域形成了Map Reduce、Impala、Storm等计算框架并存的局面。Apache Spark是一个快速并且通用的大数据处理引擎,能够用于处理流式数据、SQL查询、机器学习以及图计算等分析场景。在网络流量大数据的分析中,大表关联查询操作非常多,而Spark中的Join操作性能较低,其原因是大量不符合连接条件的数据参与了Shuffle阶段,这导致大量的网络通信开销和磁盘I/O开销。首先,本文针对大表等值连接,提出了一种基于Bloom Filter数据结构的Spark Join优化方式,这种Join方式能够预先过滤掉大部分不符合连接条件的记录。然后,本文提出了一个基于改进后Spark的网络流量大数据平台。在这个平台中,本文详细地讲述了Spark以及Spark生态系统中的各个组件如何用于处理网络流量数据的分析处理。最后,本文以两个实验来验证了本文的研究内容,优化后的Spark Join方式能够减少网络通信的开销,进而减少Shuffle阶段的时间,并且在网络流量大数据处理场景中,Spark计算框架的性能要优于传统的Map Reduce计算框架。