随着互联网和计算机技术的快速发展,世界各个行业的数据量呈爆炸式增长。超大规模的数据已经远远超出了现有计算技术和信息系统的处理能力。寻求有效且高效的文本主题模型来挖掘信息成为大数据时代背景下人们的迫切需求。LDA是文本挖掘领域较为主流的主题挖掘模型,AD-LDA主题模型是采用Gibbs采样的LDA在分布式平台上的并行化实现。本文针对分布式环境下AD-LDA主题模型运行效率不高的问题,提出了一种基于权重采样的WAD-LDA的主题模型,该模型以并行AD-LDA主题模型为基础,以Spark为分布式计算平台,旨在减少AD-LDA并行算法在分布式平台上总的Gibbs采样时间。为了能准确给特征词计算影响因子,本文采用了 TF-IDF统计方法来计算特征词的权值,降低了高频词对本文影响程度,准确提取出特征词,控制采样词数,在保证模型精度不损失太多的情况下,减少单次迭代时间,提高了算法的效率。本文以根据网络中心一周日志抓取到的文本子集作为实验数据集,选取了标准AD-LDA、Spark-LDA和WAD-LDA三个主题模型,先做了主题数选取和阈值选取的参数优化实验确定参数,最后在困惑度和采样时间方面做了相关的对比实验。实验结果证明,通过针对AD-LDA主题模型采样算法的改进,可以在保证模型精度不损失太多的情况下,主题模型不仅运行效率得到了大部分提升,而且主题模型的主题质量也会比原来的更好。