论文部分内容阅读
随着互联网信息不断增长,传统的返回检索页面的信息检索方式已经难以满足用户全面快速获取信息和知识资源的需求。实体关系抽取作为信息抽取重要组成部分,自动化地从自然语言中抽取实体关系元组的结构化信息,从而为用户提供更加智能的信息检索方式,帮助用户快速理解、掌握互联网中日益增长的信息。传统的关系抽取主要针对某些特定领域而且需要预先定义关系类型,因此这种方法可移植性差,难以处理大规模网络文本数据。为从网络文本中抽取实体关系元组,本文提出了一种中文开放式实体关系抽取算法DPM:首先,通过自动获取大量高质量实体关系元组和其回标的语句作为训练语料,并通过训练语料抽取得到基于词性和依存句法分析角色的关系模式;其次,为提高预处理的准确性,本文使用依存句法分析统计规律对待抽取文本进行兼类词处理;再次,使用第一步中学习得到的关系模式对兼类词处理后的语料进行模式匹配并抽取候选实体关系元组;最后,对抽取的候选实体关系元组使用机器学习方法进行置信度评估,得到其中高置信度的实体关系元组。通过在公开数据集Wiki-500、Sina-500以及本文构建的Tecent-500、Simple-500数据集上对DPM算法进行验证。实验结果中,本文提出的中文开放式实体关系抽取算法DPM的P-R曲线基本位于相关工作的右上方。这表明DPM算法的有效性,即当大多数情况下准确率相同时DPM算法的召回率更高,当召回率相同时DPM算法的准确率更高。此外,本文实现了一个中文关系抽取原型系统,系统一方面利用百科网页中结构化和半结构化信息抽取实体上下位关系以及属性关系,同时为进一步丰富关系知识库中的实体关系元组,系统使用本文提出的开放式实体关系抽取算法DPM从纯文本中抽取实体关系元组。