近年来,Internet迅速发展及网络论坛(BBS,Bulletin Board System)的普及,为广大网络用户提供了一个自由交流的空间,BBS已成为表达民意的一个重要平台。但BBS中也存在一些污秽的语言,谩骂等不文明行为,甚至存在一些攻击国家、扰乱社会的言论。为了正确地引导社会舆论,净化网络环境,BBS舆情监控技术应运而生,为政府和网络管理部门提供了有效的管理手段,也便于政府及时掌握各个时期民众关心的热点话题,并了解民众对这些热点话题的观点和态度,从而做出正确、科学的决策。本文主要研究内容有:首先,分析了当前文本聚类分析中常用的几类方法和聚类算法评价标准,并对平面划分的两种典型算法通过实验进行性能比较。本文研究了K-Means和K-medoids两种聚类算法在文本挖掘中的应用,并通过实验利用基于人工判定的指标对两类算法在聚类文档的准确率和召回率方面进行了性能比较。实验结果表明,与K-Means算法相比,K-medoids算法无论在准确率还是召回率方面都要高出5个百分点以上,且后者在处理异常数据和噪声数据方面更为鲁棒。在此基础上,对K-medoids算法进行了改进。由于反复计算类内距离之和使得K-medoids算法计算代价较高。针对这一问题,本文在聚类之前,预先计算所有对象之间的相似度,建立相似度矩阵,这样在计算类内距离时,通过查询相似度矩阵的方法,可以大大减少计算代价。其次,介绍了本文作者如何将非结构化的BBS文档转换为结构化的文本, BBS文本的预处理过程,主要包括中文词法分析,停用词过滤,文本的特征表示,文本特征选择,权重计算。最后,实现了BBS热点话题挖掘系统。用爬虫程序和文本预处理将BBS中的话题转换为结构化的文本形式,然后用K-medoids算法对话题进行聚类识别,选取识别代价最低的一次聚类结果用评价函数对话题进行热度排名,选出前十大热点话题。