论文部分内容阅读
随着移动互联网的迅猛发展,数据信息呈爆炸式的增长,致使传统单机、串行的数据挖掘算法已经无法满足海量数据对计算和存储资源的需求。Hadoop云计算技术作为大数据时代的技术产物,它凭借着高效的处理性能、可靠的存储能力以及良好的并行化编程接口等优势,从根本上解决了传统模式在处理大数据时存在的性能瓶颈,并极大的简化了并行程序设计的难度。因此,在当前大数据的时代背景下,结合Hadoop在大数据处理方面的优势,对传统频繁项集挖掘算法进行并行化改造研究就显得格外有意义。本文研究的主要内容如下:首先,介绍了 Hadoop云计算技术在处理大数据方面的优势以及传统模式的数据挖掘算法存在的性能瓶颈。针对于现有FP-growth频繁项集挖掘算法在处理大数据时存在时空效率不高的问题,提出了一种并行化改进方案,该方案采用一种“分而治之”的思想对事务数据库进行水平分割,充分利用多节点并行处理的优势加速一项频繁项集和条件模式基的求解,并且通过在原有FP-tree树节点中新增一个带频繁项前缀的域空间来构建一颗新的条件模式树NFP-tree,避免了FP-growth算法需要递归构建FP-tree的不足,从而极大的提高了频繁项集的挖掘速度。其次,在传统FP-growth算法并行化改进的基础之上,结合Hadoop云平台技术在处理大数据方面的性能优势以及MapReduce并行编程模型提供的良好并行程序接口,提出一种基于MapReduce的并行频繁项集挖掘算法NFP-growth。该算法采用两次MapReduce的迭代求解过程:1)一项频繁项集的求解;2)条件模式基求解和频繁项集的生成。这样通过任务分解,有效均衡了算法各阶段的负载情况,从而提高算法的整体挖掘性能。最后,通过一个简单的实例验证NFP-growth算法设计的合理性。为了进一步验证NFP-growth的优越性,将其在Hadoop平台验证与分析,实验结果表明该算法具有良好的可扩展性与高效性。