实体解析是一种在结构化和非结构化数据中抽取、匹配与合并代表着同一现实世界实体的数据的处理过程。尤其在大数据时代,实体解析问题是数据库管理、信息检索、机器学习、自然语言处理与统计等领域的一个长期存在的挑战。实体解析具有很多别名,如记录链接、去重、交叉引用解析、引用调解、对象巩固等。精确与快速的实体解析在商业、科学、安全等领域的诸多方面具有重大的实际意义。反之,低质的实体解析通常会带来诸多问题。比如,实体解析不好,会导致重复数据的存在,它会扭曲从数据中获取的信息,也为后续的数据挖掘、建立决策支持系统、应用商务智能等带来隐患。由于面向非结构化的实体解析通常都特定于应用,而本文旨在研究更具有通用性的实体解析方法,所以本文将关注点放在面向结构化的实体解析。此外,匹配与合并函数均被视为黑盒,不关注其内部实现细节,关注的是如何尽可能少地减少匹配与合并函数的调用次数。具体而言,(1)针对无置信度的数据集,通过训练提取出匹配核,然后对匹配核进行统计学习,再依据学习结果对数据集分块。分块的目的是隔离块与块之间的记录,将记录的比较限制在块内,从而减少了匹配与合并函数的调用,提高了实体解析的效率。(2)针对带置信度的数据集,因为记录的合并顺序不同可能导致最终结果不同,所以实体解析需要考虑记录的所有合并方案并从中选取最佳方案。本文通过训练获得置信度合并词典,在判断哪种合并方案最佳时,通过置信度合并词典就可以大大减少合并函数的调用,从而使得实体解析的性能得到了提升。此外,本文提出了一种带置信度的实体解析的框架思想。最后通过实验表明了记录分块的有效性、置信度合并词典带来的性能提升以及带置信度的实体解析的框架思想的可行性。