文本聚类是数据挖掘和信息检索领域的一个重要研究方向。随着互联网的普及,网络上堆积的数据信息飞速增长,且大部分数据以文本的形式存储。如何挖掘网页上的海量文本信息已经成为计算机科学领域所面临的一个巨大挑战。文本聚类技术的出现为海量文本信息的分类管理提供了一条有效的途径。文本聚类技术作为一种无监督的机器学习方法,可由计算机自动进行,通过比较文本的相似性,发现文本内在特征及分布规律,不单可对web文本进行有效的组织,还可以形成分类模板用来指导web文本的分类,以便检索和阅读。近年来文本聚类在信息检索、多文本自动摘要等互联网领域获得了广泛的应用。云计算的兴起,为分布式并行计算提供了更多的框架,文本挖掘技术的分布式实现也开始被越来越多的研究人员所关注。本文对文本聚类进行了分析研究,介绍了文本聚类的相关理论知识,讨论了主要的文本聚类算法及其技术。并对现今热门的开源分布式计算项目Hadoop的架构进行了研究,重点分析了Hadoop的关键技术:Hadoop分布式文件系统以及Hadoop的MapReduce计算模型。在这基础上,设计了基于Hadoop的分布式文本聚类算法。整个聚类过程包括三个部分:文本特征向量TFIDF的分布式计算,文本间余弦距离矩阵的分布式计算及聚类算法Bisecting K-Means的分布式实现。最后,使用20newsgroup文本数据集在系统上进行了实验。基于Hadoop的分布式文本聚类能得到较好的聚类结果,并在分布式具有很大的扩展性,能加快聚类的速度,有效地将文本聚类技术应用到分布式框架中。