Web日志分析是收集用户浏览网页时产生的所有日志信息,并对这些日志进行数据转化、数据清洗、数据挖掘的过程。通过Web日志分析可发现用户的访问行为与规律,并据此优化网站结构,给用户带来更好的体验。但传统的日志数据分析处理大多基于串行处理,面对海量的大数据时,传统的日志数据分析处理就显得力不从心。Spark是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台,是应对大规模日志数据分析与处理的强有力工具。本课题围绕基于并行计算的日志数据分析处理展开研究开发。研究了基于Spark平台的大数据并行处理方法、基于Spark平台的新型日志数据处理体系结构、基于Spark平台及Scala语言的大规模日志文件分析算法。在理论与技术研究的基础上,搭建了基于Spark的大数据处理平台,通过搜索引擎采集了实验用的Web网站日志文件数据集,存储在HDFS分布式文件系统中。应用Scala语言编码实现了大规模日志文件分析系统。该系统主要包括日志收集、日志存储、日志分析和数据展示四个模块。应用开源的Flume日志收集系统把待分析的数据导入分布式文件系统HDFS中进行存储;采用基于RDD的Spark内存计算技术进行日志数据的并行分析计算,大大提高了日志分析系统的执行速度。