论文部分内容阅读
在信息技术和工业自动化迅速发展的时代,源源不断地产生着大批量的数据,这些数据中大量指代同一实体的重复数据,给数据分析和处理带来了很大的困难。在以往研究的基础上,提出了一种基于MapReduce的实体共指消解的方法,该方法通过引入权重和相似度的度量指标,利用Hadoop平台和MapReduce框架把数据处理成key.value数据实体对的形式,进而对数据进行共指消解处理。经过实验,表明了该方法能够提高实体共指消解的准确率和速度,满足了企业在当前形势下实体共指消解的需求。