基于语境化词嵌入与注意力方法的机器阅读理解模型研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:star33333
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大量的人类知识是以非结构化自然语言文本的形式传递的,因此使机器能够阅读和理解文本具有重要的意义。近年来,随着许多该领域数据集的涌现以及深度学习的进步,机器阅读理解在自然语言处理领域受到了广泛的关注。本文专注于研究基于语境化词嵌入与注意力方法的机器阅读理解模型,探索如何解决许多基线模型存在的准确度不足以及训练和推理速度缓慢的问题,主要研究成果如下:(1)部分经典基线模型无法有效结合上下文信息进行进一步推理,导致模型在回答某些需要长下文关联的问题时存在不足。此外,传统模型的词嵌入不能准确包含句子的上下文信息,因此词嵌入质量有待提升。针对上述问题,本文提出了一个基于语境化词嵌入与门控自注意力的机器阅读理解模型。首先,该模型引入了门控自注意力层,用于关联长上下文并进行进一步地推理。并且在文章问题交互层使用双向注意力流提供互补信息。此外,模型引入了预训练的ELMo语境化词嵌入。ELMo嵌入是一种包含深层上下文语义的词汇向量,由基于大规模语料库预训练的双向语言模型而来。实验表明,本文所提出的模型能够有效地提升一些需要复杂上下文推理的问题的正确率,从而提高模型的整体性能。(2)目前大多数富有成效的经典模型都采用循环神经网络对词嵌入进行编码,但循环神经网络无法并行计算的特性使得模型的训练与推理速度不佳。针对这一问题,本文使用了基于卷积网络的编码器进行词嵌入的编码,提升了模型的训练与推理速度。为了保证模型具有较高性能,我们同样使用了预训练的ELMo词嵌入,以提升单词表示的质量。经过一系列控制变量法的实验,找到了模型的最佳超参数设置。此外,与许多经典基线模型的比较实验结果表明,本文所提出的模型能够在保持较高准确度的情况下大幅提升模型的训练与推理速度,使得模型具有更高的可应用性。
其他文献
随着我国招生规模的不断扩大,加上办学条件的极大改善,许多高校根据自身发展规划新建或改造了教学楼、科研楼、实验楼、宿舍楼等。学生人数的增加、建筑面积的扩大以及各类耗能设备的增多,导致高校能耗始终居高不下。能耗支出已成为高校日常运营支出的重要组成,在一定程度上增加了高校的经济负担。因此有必要对高校的建筑开展能耗监测和管理,以提高能源的利用率,降低高校运营成本。论文在深入分析高校能耗监测管理现实需求及现
无线信道场景环境复杂多变,为了提升通信系统的性能,需要对各信道场景配置不同的物理层技术,此时对无线信道场景进行准确的识别尤为重要。在信道场景识别研究中,不同信道场景的小尺度衰落统计特性差异明显,因此可以将其作为信道场景的特征。采用小尺度衰落统计特性分析方法可以获取符合信道场景要求的特征数据,能够进一步提升识别准确度。本文围绕小尺度衰落统计特性分析的瑞利信道场景识别问题展开理论与应用研究,主要研究工
本文以内蒙古呼伦贝尔市谢尔塔拉镇为研究区,在对耕地土壤养分(有机质、全氮、有效磷和有效钾)相关数据进行测定、收集的基础上,借助遥感光谱、空间统计学和GIS时空分析技术相结合的方法,经适用性分析,构建并优选了典型黑土区土壤养分预测模型;进而创新性的提出了能够定量消除耕地扰动因素的预测模型优化方法;最终,基于优化模型对典型黑土区近十年耕地土壤养分地球化学特征和耕地质量进行了综合评价。主要研究成果有:(
随着科学技术和制造工艺的不断发展进步,CMOS技术器件的特征尺寸也越来越逼近物理极限,给电路带来如短沟道效应、互连延时及寄生效应、功耗高等问题。这些问题严重制约着集成电路的进一步发展。因此,研究人员开始转向研究新型纳米技术器件以期替代传统CMOS器件。20世纪90年代提出了量子元胞自动机(Quantum-dot cellular automata,QCA),具有运算速度极快、集成度高和低功耗等优良
近年来,视频监控在构建信息化、智能化的城镇建设中起着至关重要的作用,行人重识别作为视频监控领域的关键技术,受到工业界与学术界的越来越多的关注。现有的行人重识别的工作大部分聚焦于监督学习,它们假设可以为每一对相机视图提供大量手动标记的匹配对,来学习该相机相对优化的特征表示或匹配度量函数。然而,这种规模的手动标签不仅在现实世界中收集起来成本非常昂贵,而且在许多情况下也是不可行,例如可能没有足够的训练人
随着现代物质水平的丰富,使人们对生活有了更多新的需求。用户不仅满足于产品可以完成某项特定功能,而是对产品有了更高的期待。产品在满足用户基本生理需求和安全需求的基础上,更加追求来自社会中的情感需求,因此情感化设计逐渐成为设计师的关注点。设计师希望通过情感化设计让用户感受到产品的温馨,为用户在使用产品时打造良好的情感体验,同时也能让用户更深刻地理解产品的价值。情感化设计离不开用户的心智,在用户心智与产
在我国城市养老问题日趋严重的背景下,在城市老城区养老院项目的设计前期进行科学合理的选址可以降低后期项目设计、施工、运营的难度,促进养老资源的合理配置。然而,老城区养老需求条件的复杂性、选址影响因素的多样性、选址规划方法的主观性等问题的存在导致养老院选址规划的科学性与准确性较低,一定程度上造成了养老资源的浪费。因此,笔者以提升老城区养老院项目选址规划的科学性为切入点,以Arcgis空间分析系统作为技
随着北斗系统导航定位技术的发展和在各个行业的应用,其对定位解算的精度要求也越来越高,因此如何提高定位精度成为学者和工程人员们研究的热点。伪距定位作为基本定位方法,在民用导航和高精度定位初始位置确定方面发挥重要作用。多路径效应作为影响定位精度的主要因素之一,在城市楼宇密集的地方不易削弱且严重的影响着定位精度。故而针对伪距定位和多路径误差这两个方面,本文主要的研究内容如下:(1)着重分析了导航定位前期
对海量的能耗供给数据进行可视化可以实现对能源供给设备实时产生的能耗数据的各种属性以图形化的方式直观的呈现给用户,为能耗供给数据可视化分析提供有力的保障。随着智慧城市的发展,供给数据变得日益复杂,基于能耗供给数据展示供给的态势信息以及监控数据异常是维护供给过程安全稳定的主要任务。针对现有的可视化系统不能很好的展示供给线路和多维层次信息,本文首先总结了时空数据和能耗供给的可视化技术,然后提出了基于多维
激光雷达是探测大气的一种有效手段,常应用于探测大气气溶胶分布、空气污染物分布、大气成分组成、大气气象参数等场景。激光雷达具有实时性好、时空分辨率高、重复性好等突出优点。为了提升激光雷达的移动性,增加探测范围,车载扫描激光雷达得到更多的重视。根据实际项目需求,本文以某车载大口径扫描激光雷达收发装置的研制为研究内容,论述了该系统的设计理论、设计模型和装调结果。该车载大口径扫描激光雷达收发装置光学系统由