基于BERT和知识图谱嵌入的智能问答方法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:huangyi101
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
智能问答旨在通过对自然语言问句进行深层分析,使得计算机能够智能选择精准的答案。近年来知识图谱和深度学习的技术都在飞速发展,使用深度学习模型能够更有效地理解问题语义信息,而存储大规模结构化客观事实的知识图谱能够为用户提供更精确的知识。针对通常只含有单一实体和关系的简单问题,为了更好地理解问题语义并利用知识图谱中的结构化知识完成智能问答,本文基于预训练语言模型BERT和知识图谱嵌入设计了一种端到端的智能问答方法并实现了一个知识图谱智能问答系统,使用户能够精确地获取知识。本文的主要工作如下:(1)本文提出了一种基于预训练语言模型的头部实体检测模型。针对知识图谱问答中的关键问题——问句实体检测,本文引入预训练语言模型BERT及其变种模型,对其编码器多层输出进行融合,从而更好地提取自然语言问句的文本特征得到问句表示,并有效地改善了未登陆词问题和一词多义问题。同时还在模型结构中加入Bi GRU网络和注意力机制获得更深层次的文本特征,有效地提升了头部实体检测的精确率。模型在Simple Questions和NLPCC-2016-KBQA数据集上F1值分别取得了98.67%和98.91%。(2)将知识图谱中结构化知识融合到深度神经网络模型,并针对关系在不同问句中存在多种表达难以识别的问题,本文提出基于知识图谱嵌入的端到端问答方法。不同于传统字词向量只保存单词的语义表示,知识图谱嵌入中保存有知识结构信息。通过深度神经网络训练将知识图谱嵌入表示和自然语言问句嵌入表示联系在一起,并通过精心设计的联合距离公式完成答案选择。该方法在Simple Questions和NLPCC-2016-KBQA数据集上表现出优异的性能。(3)基于本文提出的知识图谱问答方法实现智能问答系统。系统具有良好的前后端设计,能够实时回答用户问题并可视化展示结果,提高用户精确获取知识的效率。
其他文献
动车组运行故障检测系统(TEDS)是保障动车组高速行车安全的系统,但目前TEDS采集的动车组扫描图像中,关键零部件状态主要由人工判别。随着深度学习的不断发展,基于卷积神经网络的目标检测算法应用日益广泛。本文在YOLOv2的基础上,提出了加入改进SPP层,融合多重感受野的YOLOv2-Plus,并将小目标检测能力增强的YOLOv2-Plus应用于动车组裙板螺栓检测任务,提高了裙板螺栓检测的准确率和效
本论文工作分为两个方面,一个是研究考虑空间电荷效应的金属尖端热场致发射现象,一个是研究含缺陷电荷电介质固体中的空间电荷效应。对于第一个方面,一个处于高电压的双曲面金属尖端阴极,考虑到由于诺丁汉效应带来的热效应使尖端处于高温,采用通用热场致发射公式来计算尖端表面电流密度,研究了温度对发射的影响。并创新性地提出了一个自洽模型,能够准确地模拟出热场致发射中的空间电荷效应,发现空间电荷效应对空间电荷密度分
聚酰亚胺(PI)分子链包含十分稳定的五元酰亚胺杂环和高密度芳环,且结构规整,拥有卓越的耐热性、尺寸稳定性、耐化学溶剂性等,近年来在柔性显示、电子电气封装等上获得青睐,这些应用对PI透光性要求很高。PI材料的制备工艺对其透光性影响较大,传统的两步法工艺需要对前驱体聚酰胺酸(PAA)在300℃以上亚胺化,这种高温处理不仅能耗大、且容易造成薄膜颜色变深。因此,探索PI的低温亚胺化(不超过200℃)方法和
平面波成像技术成像速度快,是超声成像中常用的成像模式。平面波成像过程中的采样频率对成像质量影响很大,采样频率越高,成像质量越好。但高频采样所需的高频模数转换芯片依赖进口,价格高昂且对我国限售,而低采样频率设备虽然容易获得,但成像质量差。所以提高低采样频率射频数据的成像质量具有重要的现实意义。本文的研究目的即为提升低采样频率平面波射频数据的成像质量。超声图像成像质量主要受纹理、颜色等浅层特征影响。低
先天性巨结肠是最常见的小儿消化道发育畸形之一,经肛门直肠粘膜活检的Ach E染色图像可用于先天性巨结肠的辅助诊断,但是人工分析Ach E染色图像工作量大。本文以Ach E染色图像数据集为研究对象,基于深度学习和迁移学习对Ach E染色图像的分割和分类算法进行研究,设计并开发了一个先天性巨结肠智能诊断系统,实现了先天性巨结肠的数据采集和计算机辅助诊断。本文的具体工作如下:(1)提出了基于U-Net并
纳米晶软磁合金因具有高磁导率、高电阻率和低矫顽力等特性,是制备高磁导率和低损耗软磁复合材料的理想材料之一。但是,粉末绝缘处理困难和压制成型性差等问题,导致难以获得综合性能良好的纳米晶软磁复合材料,因而限制了这类材料的发展和应用。本文以FeSiBNbCu纳米晶粉末作为研究对象,提出硝酸氧化粉末处理工艺和磷化羰基Fe粉复合工艺,同时研究退磁场对纳米晶软磁复合材料磁性能的影响规律及退磁场的影响因素,这对
硫化是轮胎制造的关键过程,其目的是通过将橡胶性能从可塑性转变为弹性,赋予未硫化轮胎精美的表面花纹和出色的性能。然而,现有硫化技术中所采用的胶囊存在膨胀不完全、结构不对称以及蒸气凝结沉积等缺陷,严重影响了轮胎的均匀性和动平衡性。本文基于直压硫化技术设计了一种新的轮胎硫化设备,采用硫化内模鼓代替传统硫化工艺中的胶囊,并围绕硫化内模鼓的设计和优化展开了一系列研究工作,主要工作和研究成果如下:(1)为了满
对比度增强技术是一种应用广泛的图像处理技术,通过对比度增强技术可以有效提高图像细节的可视性。近年来,基于可逆数据隐藏的可逆对比度增强技术得到了广泛研究,利用该技术使原始图像在改变对比度后能够无损恢复。由于大多数可逆对比度增强方法主要是针对灰度图像提出的,直接应用于彩色图像可能会造成视觉畸变。考虑到,相比之灰度图像,彩色图像是一种视觉效果更丰富的图像,因此,如何将目前已经日渐成熟的灰度图像可逆对比度
工业机器人是指用于工业领域的多关节机械手臂,其发展水平是衡量一个国家制造业水平高低的重要标准。中国作为制造业大国,研究机器人技术,发展工业机器人产业,对于加速制造业转型升级、提高我国制造业国际竞争力,加快迈入制造强国行列,具有重大意义。轨迹规划是机器人技术中至关重要的一环,关系到了工业机器人的性能以及精度,因此对轨迹规划展开研究对于提高工业机器人的性能不可或缺。同时由于工业机器人在工作中难免会发生
电信网络诈骗犯罪借助信息网络技术的便捷,对不特定社会公众实施非接触式诈骗,简称“电诈”犯罪。“互联网+”背景下的电诈犯罪具有跨区域性、隐蔽性、手段多样性等特征。当下电诈犯罪治理困境主要有:立法设计缺陷导致电诈犯罪立案、管辖难;警力资源有限办案难;涉案财产损失挽回难;电诈犯罪成本低,打击治理难等。基于电诈犯罪治理现实困境,应转变传统治理观念,将治理重心置于前端预防并采取多元治理手段:完善立法解决争议