伴随着数据的几何式增长,大数据时代如约而至。大数据时代最重要的任务是收集数据和整理数据,数据挖掘是重要的一步,也是最基本的一步。其中在海量数据中挖掘频繁项集是数据挖掘中最基本的一项工作,深受广大国内外研究者们的重视与研究。目前,频繁项集挖掘算法的改进,基本都是基于经典的Apriori算法与FP-Growth算法进行的改进。FP-Growth算法存在如下缺点:扫描第一遍数据集只统计1-项集的支持度,而对数据集的扫描消耗时间较多;FP-Tree只是简单的将具有相同前缀进行合并,没有考虑路径上的项集是否可能构成频繁项集,没有控制FP-Tree的深度、宽度和结点个数,在数据量增大时内存消耗过多;条件FP-Tree的规模较大,使得递归挖掘的深度增加。因此,本文提出了基于频繁项集挖掘2FP-Forest算法并定义了2FP-Tree和2FP-Forest数据结构。2FP-Forest算法在遍历第一遍数据集时,统计所有1-项集和2-项集的支持度,并进行剪枝。本文在2FP-Forest中,充分利用2-项集的剪枝作用,在构建过程中进行充分的剪枝和合并结点等操作,使得2FP-Forest中不存在非潜在候选3-项集,而且与FP-Tree相比,2FP-Forest的结点个数较少,并且2FP-Tree的深度和宽度均比FP-Tree少,使得条件FP-Tree的深度和宽度均有减少。通过与FP-Growth算法和COFI算法在实验数据集T10I4D100K与Mushroom上的挖掘结果进行对比,FP-Tree和2FP-Forest的结点个数、构建时间以及整个挖掘效率等方面进行了对比实验。实验结果验证了本文提出的2FP-Forest算法的正确性和高效性。最后,本文利用Python语言中提供实时分布式接口Process以及多进程接口Thread,对2FP-Forest算法进行并行化处理。因为Process接口可以实时分布到多台计算机实现并行化处理而且multiprocessing模块支持多进程,其中managers子模块可以把多进程分布到多台机器上,因此一个服务进程可以作为调度者将2FP-Forest,依靠网络通信,将每棵2FP-Tree分布到其他多个进程中。由于managers模块封装很好,可以编写实时分布式多进程的程序,实现并行化处理的2FP-Forest算法。通过与CWBPFP算法、PFP算法进行对比实验验证了并行化2FP-Forest算法的可行性与高效性。