面向问答系统的多文档段落深度学习排序方法研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:greatspy_52
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自动问答系统要求机器在阅读由自然语言表述的问题之后给出问题的答案,可以用于衡量机器的智能程度。因此,对于自动问答系统的研究不管是在学术界还是工业界都受到了极大的关注。由于问答系统的知识源包含大量的文档,而这些文档由许多段落组成,因此段落排序技术是问答系统中重要的信息筛选工具,也是自动问答领域的关键性技术。近年来,随着深度学习方法的不断发展以及问答系统与机器阅读理解领域大规模基准数据集的发布,问答系统中的关键技术段落排序也获得了极大的发展。尽管取得了诸多成果,但仍然存在许多难点与挑战如:1)为单文档问答任务设计的抽取式框架应用于多文档问答时存在信息损失;2)当前用作答案单元的句子不能包含足够的信息、而文档则冗余信息过多;3)当前大部分多文档问答数据集中参考段落质量参差不齐,且缺乏相关性标注;4)当前大部分基于预训练语言模型的段落排序框架,由于预训练阶段所设置任务的特点,存在制约排序模型性能的问题。本文立足于面向问答系统的段落排序任务,针对上述挑战,从面向多文档问答的排序框架构建、段落作为答案文本的可行性、段落与问题相关性的度量标准、为基于预训练语言模型的排序框架有效引入段落自匹配注意力机制以及输入特征等方面展开了若干关键技术的研究。本文的主要工作与创新点总结如下:第一,针对多文档问答存在多个文档以及答案长度较长等特点,提出段落层次的文本片段适用于作为其问题的答案这一假设,同时给出了支持这一假设的证据。根据该假设,本文提出了结合神经阅读理解模型与Listwise排序函数的段落排序框架,该框架使用ROUGE-L作为段落质量的评价指标,在来源于真实网页查询场景的大规模数据集上的实验结果验证了该方法的有效性。第二,针对当前基于预训练语言模型的段落排序框架无法有效提取段落重要信息,从而有效区分相关段落与不相关段落的问题,提出了一个段落重排序模型。该模型采用段落自匹配注意力机制用于提取段落重要信息,同时引入问题类型作为输入特征。在段落重排基准数据集上的实验结果显示,该模型取得了该数据集上目前最好的性能。
其他文献
中低速磁浮车通过安装在悬浮架上的集电靴与铺设在走行轨两旁的授流轨接触取流,为磁浮车牵引、悬浮、导向以及其他的用电设备提供能源和动力。集电靴、授流轨及其两者之间的动态关系是影响中低速磁浮车进一步提速的基础和关键。本文基于虚拟样机技术对靴轨受流系统的动态特性进行了仿真研究,主要研究工作及创新点如下:1.建立带有集电靴与授流轨的中速磁浮列车整车动力学虚拟样机仿真模型。首先根据集电靴实际结构,对集电靴进行
多无人机编队近年来受到了业内的广泛关注。利用多无人机编队对目标实施跟踪监视是无人机的重要应用,而摄像机作为最常见的无人机载荷,在目标信息获取方面发挥了重要作用。本文以搭载摄像机的固定翼无人机为研究对象,考虑无人机视角的视觉目标跟踪和多无人机协同standoff目标跟踪的应用场景,对其中的关键问题进行研究。主要工作及贡献如下:(1)提出基于线性旋转空间的视觉目标跟踪算法。为了解决目标图像发生平面外旋
高空核爆炸(High Altitude Nuclear Detonation,HAND)一般是指爆炸高度在30km以上的核爆炸,其产生的X射线的能量所占总能量份额高达70%-85%,是高空核爆炸的主要毁伤因素之一。由于高空大气稀薄,X射线自由程较长,因此可对爆点周围大范围内的空气进行加热,产生能量沉积,引起大范围空气温度上升形成火球。火球产生主要位于红外线波段的强光辐射,在空间产生很大范围的光幕,
随着网络结构不断发展,数据中心网络(DCN)可以为全球用户提供服务,但是当流量突然爆发时,内部的网络拥塞是不可避免的。为了有效管理当前高速DCN中的拥塞,研究人员将注意力集中在具有快速收敛,低延迟和低缓冲区占用等优点的主动拥塞控制上。ExpressPass作为一种先进的主动方案,利用信用预留机制来实现快速传输,其中每个信用调度一个最大传输单位(MTU)数据包。但是,对于工作量非常大且流量短于MTU
对中学生实践活动进行核心素养的评价能够使得中学生的核心素养培养朝着好的方面进行。目前,尽管我国对于中学生的核心素养有着较高的要求,但是对于中学生核心素养的有关评价体系研究却是比较少见的,这就导致我国教师在实践活动中对核心素养培养进行渗透时缺少目标性,以及没有过多地去注重学生的反馈,导致这样的培训是没有多大意义的。所以本文依据我国中学生在进行实践活动时,利用对其核心素养渗透实践活动中所存在的一些问题
实景三维建模在城市建设、高精度地图、地理勘测等领域都具有十分重要的作用。因此,关于基于图像的高精度三维建模方面的研究也逐渐成为关注的热点,大量方法涌现出来。其中增量式三维重建因其较好的鲁棒性和较高的建模精度被广泛应用在学术研究与工程实现领域。其中,传统增量式重建中的初始图像对选取方法在相似图像搜索、相对位置关系计算的过程均依赖SIFT、SURF等特征点提取的效率和准确度,并且要进行两两图像间的特征
翼伞系统可用于精确空投和大型航天器的回收,应用前景广阔,是空投和回收领域研究的热点。而翼伞系统的航迹规划与控制作为无人翼伞系统自主寻的的核心,始终受到研究者的高度关注。翼伞的航迹规划与控制方面的研究,大多数假设无风环境或者设置恒定风环境,没有考虑到在执行实际任务当中风场的变化性。在此背景下,本文首先利用地形数据设置复杂风场仿真模型,并以该模型为飞行环境,对翼伞系统风场辨识、分段航迹规划以及轨迹跟踪
航天器电磁操控是一种新的在轨服务技术,通过在航天器上安装三个正交的超导线圈产生任意方向的电磁力控制航天器间的相对运动。与传统惯性推力相比,星间电磁力具有无推进剂消耗、连续、可逆、无羽流污染等优点,在对地观测、空间探测等领域有广阔的应用前景。然而,任意两个通电线圈间都会产生电磁力,这使得多航天器电磁操控动力学分析变得异常复杂,针对这一问题,论文设计了电流频率/相位调制方法达到简化目的,基于此,还研究
X射线自由电子激光、红外激光系统作为重要的战略资源,其发展建设对国防具有重要意义。随着应用领域的拓宽和用户需求的提升,对激光系统光束线传输质量、稳定性等指标提出了更高的要求。研究表明,X射线自由电子激光、红外激光系统使役性能与反射镜材料、表面精度、表面质量等有密不可分的联系。单晶硅凭借其优良的理化特性,被广泛用作反射镜基底材料。目前,单晶硅反射镜主要以超精密磨削结合磁流变抛光、离子束修形等组合工艺
随着现代科技成果的引入和大气科学自身的快速发展,天气预报已经从传统的建立在天气学原理、数理统计与预报员经验基础上的定性预报方法,发展以大气探测和大气科学理论为基础、综合运用科学技术新成就、在高性能计算机上实施的现代数值天气预报体系。数值天气预报水平的高低,已经成为衡量一个国家气象业务保障能力的重要标志。准确的数值天气预报必须以高质量初始场为基础。生成初始场数据的资料同化是数值预报的核心关键技术之一