基于神经网络的自然语言推断及其解释生成

来源 :南京大学 | 被引量 : 0次 | 上传用户:gfgfiiii
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着神经网络的快速发展和海量数据的积累,深度学习在众多自然语言处理任务上取得了引人注目的成果。然而,能够真正帮助机器理解人类语言的自然语言理解任务仍然是自然语言处理领域乃至人工智能领域的一大难题。自然语言推断作为自然语言理解的基础任务之一,常常被用于验证机器是否理解自然语言文本。自然语言推断可以帮助机器判断两个文本片段——前提和假设之间的语义逻辑关系,即蕴含、无关或矛盾。在这个文本间逻辑关系推断任务中,现有方法通过引入对齐机制有效地捕捉到前提-假设文本对间的对齐成分,从而帮助机器识别蕴含关系。然而这些对齐成分在一定程度上会引起模型对无关关系的判断,仅考虑对齐成分会导致一种无关预测偏置问题。此外,由于现有自然语言推断方法的预测结果缺乏相应的可解释性,研究者们开始展开对自然语言推断进行解释生成的探索。具有可解释性的自然语言推断不仅可以帮助我们衡量推断结果的可信度,还能了解现有技术存在的缺陷和弊端,从而有针对性地对其进行改进。目前,自然语言推断的解释生成大多采用基于编码器-解码器框架的解释生成模型。然而,由于逻辑语义被隐式地包含在前提-假设文本对中,这些基于判别式的解释生成模型难以有效地生成包含正确逻辑语义的解释。针对上述问题,本文对自然语言推断及其解释生成展开研究,主要工作内容如下:·针对自然语言推断中的无关预测偏置问题,本文提出一种具有高度可解释性的多视角推断器(Multi-Perspective Inferrer,简称MPI)。在多视角推断器中,每种逻辑关系具有相应的视角与之一一对应。该推断器从多个视角出发在两个文本片段中捕捉相应最有价值的成分,从而形成完整视角并做出最终的逻辑关系预测。此外,为了保证该推断器的视角与逻辑关系能够一一对应,本文设计了一种辅助损失函数对视角进行监督,实验表明该辅助监督不仅提升了多视角推断器的预测效果,也使推断结果具有很强的可解释性。·针对自然语言推断解释生成中逻辑语义错误的问题,本文提出了一种深度生成式的变分解释生成器(Variational Explanation Generator,简称Variational EG)。变分解释生成器通过引入隐变量对前提-假设文本对间的逻辑语义进行显式建模,帮助生成具有正确逻辑语义的解释。为了解决变分解释生成器训练过程的后验坍塌问题,文本提出了一种逻辑监督作为辅助损失函数。实验表明变分解释生成器有效解决了判别式解释生成器中逻辑语义错误的问题,生成具有更高质量的解释,而且在提供可解释性的同时有效提升了逻辑关系识别的准确率。
其他文献
在布雷顿森林体系下,现行国际金融组织的决策机制多为金融大国所控制。亚洲基础设施投资银行(以下简称亚投行)是首个由中国倡导建立,致力于促进发展中国家基础设施建设和经济互联互通的区域性金融组织。亚投行的决策机制能否体现广大发展中国家的利益是区别于同类国际金融组织的关键。本文通过对比同类国际金融组织在决策机制中的设计及其在实践运行中的缺陷,探究亚投行决策机制的合理性并提出完善意见。国际金融组织的决策机制
积雪是地球外部圈层水圈的地理要素之一,也是研究地球表层循环系统的重要要素之一。青藏高原作为世界第三极因其特殊的地理条件使其成为中国大陆主要积雪区之一,就全球尺度而
近年来,新闻文本自动化生成的应用越发普遍,其出现既带来了新的新闻创作模式,也影响了新闻读者的阅读体验。尽管机器生成新闻的影响已经得到学界的关注,目前仍缺少从语言学角
随着基因芯片技术在癌症研究中被广泛应用,大量有价值的微阵列数据被迅速积累,利用这些数据进行癌症标志物挖掘是生物信息领域的研究重点。微阵列数据为从分子层次上对癌症进
随着经济全球化的迅速发展,快递企业在市场中的竞争越来越激烈。近年来,由于国外很多快递企业进驻中国物流市场,出现的竞争格局不仅仅是国内快递企业的竞争,还有与国外快递企
科学技术的不断发展和计算机系统的广泛应用使得大量数据信息不断涌入。为了让计算机像人脑一样识别复杂的事物,有必要研究和处理数据的模糊性。如何高效的分析模糊数据从而
本文采用正交方法研究了玄武岩纤维表面等离子体和马来酸酐单体接枝组合处理对玄武岩纤维(BF)增强环氧树脂复合材料(EP-FRP)力学性能的影响。本文研究了马来酸酐、丙烯酸单体接枝处理纤维表面对玄武岩纤维、碳纤维增强酚醛树脂复合材料(PF-FRP)力学性能的影响。还研究了以酚醛树脂为胶黏剂,高性能纤维表面马来酸酐接枝处理对纤维增强杨木单板层积材(LVL)力学性能的影响。该项试验结果对高性能纤维增强杨木
为了提高汽车驾驶的安全性与舒适性,越来越多的汽车生产厂家将目光聚焦于智能辅助驾驶系统的设计和开发。随着人工智能的发展,自动驾驶技术已经成为当前汽车行业的最新发展方
一直以来,企业绩效都是衡量企业成长发展的重要体现之一,学者们对其进行的研究从未间断过。相较于发展阶段已处于成熟期的企业,新创企业的运营管理机制还不够完善,CEO在企业中更易掌控“话语权”以及“自由裁决权”,对企业绩效的影响更加显著。本文将企业绩效作为切入点,探讨作为新创企业高管层核心的CEO对企业绩效产生的影响。本文在探讨CEO权力对企业绩效的主效应之外,引入CEO的社会连带作为二者的调节变量,分
随机近似方法是求解机器学习中的大规模优化问题最有效的算法,其中随机一阶算法的研究已经有了很多的研究成果,而随机二阶算法的研究还比较少.随机一阶算法需要大量的迭代,为