论文部分内容阅读
多文档文摘是将同一主题下的多个文本描述的主要的信息按压缩比提炼为一个文本的自然语言处理技术，它可以从全局的角度对网络信息进行挖掘。在面对飞速增长的网络资源时，如何准确、高效地从海量数据源内进行自动文摘处理，是多文档自动文摘面临的主要难题之一。MapReduce是Google提出的一种分布式并行计算方法，它可以部署在任意一个普通商用计算机组成的集群上，能够有效地协调集群内各计算机的计算任务，充分利用计算机集群的处理能力，能够对海量数据进行有效的分析处理。提出了一个有效的实验模型，将MapReduce分布式并