如今各个领域都以惊人的速度产生数据,公安机关采集到的数据更是与日俱增,源源不断的数据给公安机关带来机遇的同时也带来了挑战。传统数据库难以通过横向扩充硬件来提高数据处理能力,在这捉襟见肘的形式下,大数据处理引擎Spark应运而生。Spark充分利用内存资源,采用先进的DAG调度模型,提供流水线计算方式,因此在大数据处理方面具有强大的优势。然而,Spark作为一个通用计算框架,在应用时仍然存在很大的优化空间,本文从Spark在警务数据处理中暴露出的性能问题入手开展优化研究,主要工作和研究成果如下:(1)本文所面临的性能问题本质上都是因为难以准确估计任务执行耗时,因此本文首先研究一种任务执行时间预测方法。在深入研究现有分布式计算系统的性能预测方法后,本文采用RBF神经网络构建预测模型,针对RBF神经网络传统的梯度下降训练方法容易陷入局部极值点的问题,引入群体智能算法PSO进行优化,并且基于Chebyshev混沌映射对PSO算法进行了改进,增强了PSO算法的全局寻优能力,最后采用梯度下降和改进PSO相结合的方法对模型进行训练,通过实验验证了该方法能取得更小的训练误差。(2)Spark默认的延迟调度算法会出现盲目等待优先位置,导致资源利用率不高的现象,因此本文基于任务执行时间预测模型,选取放弃等待优先位置性能损失较小的任务,调度到当前空闲的资源上执行。实验结果证明在不同的延迟等待时长下性能均有一定提升。(3)Spark现有的任务推测执行算法采用简单的统计方法,在数据倾斜的异构环境中会产生较多不必要的备份任务,浪费集群计算资源,因此本文基于任务执行时间预测模型,准确识别落后任务并启动备份任务,此外,本文在推测执行算法中加入一种任务迁移加速策略,进一步提升了性能。(4)Spark未提供数据自动缓存的实现,前人针对底层RDD提出的自适应缓存策略不适用于Spark SQL的Dataset,本文在汲取前人研究成果后,基于任务执行时间预测,提出一种执行计划代价模型,进而提出Dataset的自适应缓存策略,并且为了进一步提高性能,采用一种并集下推优化的方法以减少中间结果数据量。(5)将优化算法应用到Spark中后,设计并实现了基于Spark的警务数据处理平台,该平台具有动态构建查询业务、数据查询快速的特点。