领域知识图谱的自动化构建

来源 :重庆大学 | 被引量 : 0次 | 上传用户:ksh0323
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Google公司于2012年发布Google Knowledge Graph,国内外开始对知识图谱的研究升温,相关研究不断地涌现。这其中,通用知识图谱的构建和应用得到了长足的发展,WordNet、DBpedia、Freebase、WikiData等大型通用知识图谱相继发布。但由于需要领域专家的大量人工干预,因此基于特定领域的知识库的构建,进展却一直十分缓慢。基于此,本文从工程角度提出了一个面向领域知识图谱的自动化构建方案,并以此方案开发出了WAKA-KG框架用于辅助构建特定领域的知识图谱,有效地降低领域知识图谱的构建成本。WAKA-KG可以在用户提供的特定领域模型基础之上,通过对海量Web文档的筛选,自动从领域相关文档中抽取出实体及实体关系集,然后通过知识融合以及链接预测技术,增量迭代出该领域知识库。WAKA-KG构建出的知识库是“扁平”的,不包含本体及分类信息,因此不需要过多的人工干预。基于应用的需要,领域专家可以选择在WAKA-KG生成的知识库的基础之上,再去做知识清洗以及本体定义。本文研究的主要内容包括:(1)通过分析观察,发现谓词的词法功能在语句中通常是固定不变的,另外特定于某一谓词,实体之间在依存关系一般存在着依赖链。基于这两个词法特征,本文使用斯坦福自然语言处理工具包开发了一个三元组(知识)抽取组件,接受文本文档做为输入,输出特定形式的三元组;(2)参考韩先陪等人的“集体实体链接”[16]概念实现了一个三元组链接器,通过该组件可以将抽取的三元组消歧后链接到知识图谱中;(3)通过实体及实体关系自动抽取所获得的三元组一般都会存在大量的噪声,为了保证知识库的构建质量,系统必须要有一定的策略来消除噪声。为此,本文在三元组上引入置信度属性,并且根据推荐系统的基本原理基于贝叶斯个性化排序算法(BPR)训练了一个置信度评估模型,使用该模型,本文在WAKA-KG框架上实现了一个三元组筛选器,对待选三元组进行置信度评估,利用评估结果消除噪声。在WAKA-KG中,本文解决了以下研究挑战:1)三元组抽取。三元组抽取实际上包含了Web文档或数据爬取、实体及实体关系抽取两部分。为了避免爬虫成为系统瓶颈,本文对Java网络爬虫工具WebMagic进行了深度定制,优化了其网络和分布式组件,将其整体效率提升了近2倍。另外,通过分析语句的词法特征,并结合使用斯坦福自然语言处理工具包,本文开发实现了实体关系的自动抽取。2)实体消歧。抽取到的三元组需要通过实体链接技术链接到现有图谱中,以便实现对知识图谱的扩充。这其中最重要的也是最困难的部分就是要对实体进行消歧,也就是解决命名指称与实体对齐的问题。针对这一难点,本文参考了韩先陪等人的“集体实体链接”[16]概念,开发实现了一个实体消歧组件,在一定程度上解决了消歧问题。3)三元组筛选。WAKA-KG的三元组抽取器是一个完全自动化的组件,它从文本流中抽取的实体关系必然不可避免的包含着各种噪声,为了一定程度上解决这个问题,本文引入了三元组筛选器模块,该模块借用推荐系统的用户-项目评分矩阵概念,实现了一个基于BPR的三元组置信度评估算法,通过该算法,置信度不够的三元组会被筛选出来,从而保证知识图谱的构建质量。
其他文献
现阶段,医疗行业竞争日益激烈,医疗机构在发展过程中,在业务科室的绩效考核方面做了大量的研究和应用,而对于管理部门的绩效考核的研究仍较为欠缺,导致医疗机构管理部门的工
<正>王尚志教授指出:"基于数学核心素养的数学教学,要求教师能从一节一节的教学中跳出来,以"主题(单元)"作为进行教学的基本教学思考对象.可突出本质——数学核心素养,有利于
本文根据作者的实践经验,对印制板热风整平后出现板面挂锡的现象进行分析,并制定出相应的对策.
我公司两条5000t/d生产线由中材国际南京水泥工业设计研究院负责主体工程设计。由于煤炭价格持续上涨,我公司又远离煤炭产地,故所用煤炭质量一直较差,入窑煤灰分长期处于31%~3
针对涉事各方如何承担试乘试驾所引起的道路交通事故责任,我国民法学界和各级地方法院并无统一的看法。首先,由于道路交通事故所涉主体和驾驶车辆之方式对责任的分配有重大影
目的研究琥珀酸舒马曲坦静脉给药后游离型药物在大鼠血和脑中的药代动力学,并对微渗析技术在体内药代动力学的应用做了进一步的研究。方法采用同时进行血液和脑部微渗析的方
拉曼效应在1928年被印度科学家拉曼发现后,因其可直接用来确定物质的分子结构和组分,且一般不触及试样,也不必对试样进行任何修饰,引起科学家的广泛关注。当物质受到激发光照
高架桥建设初期仅考虑其作为汽车通行基础设施的功能,桥下空间缺乏对市民活动的考虑,造成城市活力网络的断裂和空间资源的浪费。以重庆市主城区的三处高架桥为引,通过实地调
目的探讨乳腺癌保乳加前哨淋巴结活检术患者的护理。方法将2015年9月~2017年9月在我院外科行乳腺癌保乳加前哨淋巴结活检术的76例患者随机分为两组,对照组采用常规护理方法,
随着社会经济的发展,能源短缺成为亟待解决的问题,甲烷水合物(可燃冰)是一种分布广泛、储量丰富且高效清洁的未来新能源。在实验室内研宄其物理、化学特性对将来合理地进行开采和