最近的研究表明在大规模程序中含有许多重复代码,它们中的大部分是由拷贝-粘贴行为造成的。这些重复代码不仅降低了系统软件的可维护性,而且会给软件引入大量的bug。然而,现有的重复代码查找工具或因消耗的时间和内存过多而无法面向大规模软件,或无法找出那些经过重命名、插入或删除修改的重复代码。通过对比各种重复代码检测技术的优缺点,本文选用基于token串的分析方法,引入了数据挖掘技术,实现了一个重复代码检测模型。首先,分析源代码创建一个序列数据库,将重复代码检测问题转化成为一个序列模式挖掘问题。然后,使用改进的CloSpan算法查找支持度至少为2的频繁子序列,这些子序列对应于程序中的重复代码段。最后,改进检测结果,去除不太可能是重复代码的结果,并合并相邻的重复模块,组成较大的重复代码段。与其它方法相比,基于token串的方法和CloSpan算法的算法复杂度较低,时间和内存开销较低,因此适合于分析大规模程序;模型在词法分析之后忽略标识符的真实名字,将类型相似的标识符都映射为相同值,从而可以检测标识符重命名的拷贝-粘贴片段;由于频繁子序列在其支持序列中是可以中断的,因此在设置gap阈值之后可以准确地识别出进行过插入删除操作的拷贝-粘贴片段。实验结果表明,本模型能够在40分钟内从Httpd 2.2.2(280,000行)中检测出约3000组重复代码,其中包括经过各种(重命名、插入和删除)修改后的重复代码。