现如今,随着“绿色出行,低碳环保”理念深入人心、公共交通行业的蓬勃发展以及全国一卡通的迅速推广,交通一卡通的发行量越来越大,现阶段城市交通一卡通已经产生了海量的数据。若能将这些零散的数据聚集起来,从中挖掘出有价值的信息,并利用这些有价值的信息去解决公共交通领域的瓶颈问题,这便是把大数据技术应用到公共交通领域的意义所在。由于受到各种复杂因素的影响,采集得到的交通一卡通数据或多或少都存在数据质量问题。若这些问题得不到足够重视,就会对后期的数据分析以及数据挖掘的结果产生不可估量的影响,从而极大地降低数据的可靠性。所以,研究交通一卡通数据清洗方法的意义重大。交通一卡通数据中通常存在数据缺失、记录重复、数据错误等数据质量问题,而本文关注的重点是交通一卡通数据中的离群点数据。由于传统小规模交通一卡通数据的清洗、存储和分析技术不再适用于海量数据的处理,因而本文首先引入了Spark分布式计算框架。利用Spark基于内存计算的特点,能够极大的提升大数据环境下数据清洗的效率。针对交通一卡通数据量大、数据属性较多、数据类型多样等特点,提出了一种K-means聚类算法与局部离群因子检测算法(Local Outlier Factor,LOF)相结合的离群点检测方法(Clustering-based and LOF Outlier Detection Method,CLOF),即CLOF方法。考虑到LOF算法在计算数据对象离群因子时必须不断地对数据集进行遍历,而实际上,交通一卡通数据中绝大部分数据对象不是离群点。因此,本文利用K-means算法先将数据集进行分类,再将类中心周围离群点可能性较低的数据点进行剪枝操作。这样做的目的是先剔除一部分不含离群点的数据集,再去计算剩下疑似离群点的局部离群因子,从而极大地降低计算的时间复杂度。基于此,本文最终提出了在Spark分布式集群上并行化CLOF算法的数据清洗方案。实验表明,在同样的实验条件下,CLOF算法的检测精度与经典的LOF算法相比有所提升,而在算法检测误差率上CLOF算法的误差率更低;另外,在算法运行时间上CLOF算法远少于LOF算法。同时,实验验证了Spark分布式集群在处理大数据集时具有优越性,在Spark分布式集群上并行化CLOF算法的数据清洗方案具有很强的可扩展性。