序列挖掘一直为数据挖掘中一个非常重要的分支,从Agrawal和Srikant在1995提出序列的概念之后,越来越多的学者投入到这个课题的研究。随着数据挖掘相关技术的发展,数据挖掘将会在更多领域发挥巨大的作用。在面对大数据,无法将需要挖掘的数据放在一台物理机器上时,如何进行序列挖掘。现有的不少并行挖掘算法需要产生候选模式,还有一些算法虽然不会产生候选模式,但都依赖于机器实际的物理内存,一旦需要挖掘的数据超过机器的物理内存,将无法进行挖掘。本文的主要工作如下:(1)根据目前的了解,本文第一次提出基于垂直切分挖掘频繁闭序列这个概念,原本序列挖掘算法时间复杂度都是由数据的列数决定,减少数据的列数就能很大程度减少挖掘时间。本文采用序列求交的方式,缩短序列的长度,这相当于在竖直方向将原始序列分割成较短的序列。再从求交结果中选出K条差异度最大的序列,这又使得序列之间列数差异较大,两步均可相当程度上缩短挖掘时间。(2)在大数据环境中,大部分序列挖掘都会压缩数据集,使得尽量在小规模或者具有代表性的数据集上进行挖掘工作。本文提出压缩频繁模式的观点,压缩模式的好处在于减小了频繁闭模式枚举范围,缩短挖掘时间,减小算法的时间复杂度。(3)本文改进了序列挖掘算法基于内存递归挖掘这一特点,考虑到大数据场景下实际的数据很大程度上无法放入机器的物理内存,本文采用一个任务挖掘一次固定长度频繁闭序列,即在压缩后的模式上枚举固定长度闭序列,这样做虽然没有递归挖掘高效,但很好的解决了数据无法放入内存中挖掘的问题。(4)本文采用现阶段最流行的并行框架Hadoop实现频繁闭序列挖掘算法。充分利用Hadoop的并行特点,将海量数据分散存储到集群中的各个节点上,按照map函数、reduce函数的特点编写算法,因为枚举出的模式独立的分发到不同节点进行检测封闭性,因此本算法获得较高的加速比。