论文部分内容阅读
网络中大部分数据以文本形式存在,亟须在MapReduce环境下布局一种分布式云计算数据挖掘方法,解决大规模文本的分类挖掘问题.此次研究提出一种基于朴素贝叶斯的大规模文本分布式挖掘方法,构建MapReduce分布式云计算数据挖掘处理模型,并采用MapReduce协同作业机制,利用多项式对朴素贝叶斯算法进行改进,构建多项朴素贝叶斯分类器.使用分布式缓存机制减少资源重复申请,节约I/O开销.测试中,该方法后阶段的召回率基本稳定在95％以上,吞吐量为三种方法中最优,获得了良好的文本挖掘效果.