论文部分内容阅读
大数据具备数据量大、富于多样性的特点。因此在大数据分析方面，无论是对处理速度还是实时性都具有较高的要求。数据挖掘技术是从海量数据里采用某种建模算法，用来寻找隐藏在数据背后的信息，从而让大数据产生更大的价值。Spark框架是一个针对超大数据集合的低延迟的集群分布式计算系统。本文基于该框架，对大数据挖掘技术进行了具体研究，首先完成了基于Yarn部署上Spark集群搭建，然后提出并实现了并行Apriori算法，该算法成功补充了Spark MLlib分布式机器学习库中所缺乏的关联分析问题的分布式算法。