基于深度学习的答案排序研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:huyuexing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
限于自然语言的复杂性,传统搜索引擎中基于关键词查询的方法,难以满足用户对确切问题搜索的需求;基于常用问题集的问答系统也无法解决开放域的问题,因此面向开放域问答系统的智能搜索成为研究热点。本文以面向开放域的问答系统为研究背景,通过有效的检索得到丰富的候选答案,对候选答案进行排序是问答系统的最后一步,也是关键一步,排序的结果将直接影响问答系统的好坏。本文主要关注根据问答对文本的语义关联性对候选答案排序。在这个任务上,传统机器学习方法依赖外部资源,需要从训练数据集中抽取特征来创建模型,费时费力,效果不佳。面对这个难题,本文研究深度学习的方法来完成这个任务。近几年,深度学习方法在自然语言处理的多个任务上取得突破,而应用到问答系统的答案排序任务中缺乏实际经验。因此本文以神经网络模型为研究点,设计和实现深度学习模型来匹配文本对,进一步改进模型以完成答案排序任务。本文的主要贡献如下:设计并实现了一种基于双向长短时记忆(BiLSTM)的深度学习模型用于答案排序任务。该模型采用的双向长短时记忆神经网络能增加文本序列的前后交互,紧接着的卷积神经网络层能卷积局部信息。输入的问题和答案分别通过组合的神经网络模型,得到问答对的中间向量表达。然后使用相似性矩阵关联问答对的中间向量并计算其距离。在TREC QA数据集上实验的结果证明在该任务上,本文构造的模型优于传统的机器学习方法,比之前已有的最佳神经网络模型也有提高。研究注意力机制在深度学习模型上的应用,设计并实现含有注意力机制的改进深度学习模型来处理答案排序任务。本文用含有注意力机制的长短时记忆神经网络层来处理答案的语句,加入问题的中间表达作为影响答案表达的权重,使答案保留更多与问题相关的表达。本文在两种含有BiLSTM网络的深度学习模型上加入注意力机制,并通过实验验证了注意力机制的有效性。综上所述,本文研究并实现了一种改进的深度学习模型用于答案排序任务,在公共数据集上测试了该模型的有效性,并解决了一些在实际问答系统中答案排序子模块的应用问题。
其他文献
随着互联网的快速发展,越来越多的数字图像和照片在互联网络上传播,分享,图像已经成为我们生活中必不可少的部分。图像的特征表示关键是对图像内容的描述,特征表示的好坏直接
本文以某型短距起飞无人机为研究对象,围绕短距起飞过程中的控制问题,系统地开展了无人机滑跑短距起飞建模、滑跑纠偏控制、滑跑稳定性分析及增稳控制、短距起飞及转平飞控制
在实时流式数据查询中,缺少成熟的SQL方案,主要依赖编程语言来完成流式数据的查询工作。为了统一和简易地处理实时流式数据的查询请求,本论文开发了一个基于Storm实时计算平
全面抗战爆发后南京国民政府迁都重庆,重庆成为全国政治经济中心。重庆保险业亦在原有基础上快速发展起来,取代上海成为了全国保险业中心。对重庆市保险商业同业公会自治权的研究可以为重庆近代金融史和社会史研究提供一些新视角,具有一定的学术价值。随着中国市场经济体制改革深入,行业协会在各地纷纷建立,对于民国时期重庆市保险商业同业公会自治权研究,有助于给今天保险行业治理提供历史经验,对构建起适应时代发展需要的行
十九大报告要求坚持三农发展,促进农业农村现代化治。从近几年农产品销售形势看,国内外市场对我国初级农产品的需求量越来越大,地区范围内姜蒜为主的蔬菜初级及深加工制品,以其优良的品质和稳定的质量而誉满全球,远销国外,但是基于农业资源的布局特点,差异性特征明显,使得农作物的生产和销售有着很强的区域局限性。随着网络技术的多元化发展,基于中小企业资金、平台、团队等方面的局限性,如何充分运用电子商务的信息资源,
随着互联网的不断发展,特别是移动互联网的不断普及,网络中的信息呈现爆炸式增长,信息过载问题日益严峻。推荐系统是解决信息过载问题的重要方法之一,通过对用户历史行为的深
文章主要通过对初中数学专家型与新手型教师比较分析“解题教学提问”的解题环节、提问类型、提问内容三个维度,研究专家型初中数学教师“解题教学提问”解题环节、提问类型和提问内容有何特点?新手型初中数学教师“解题教学提问”解题环节、提问类型和提问内容有何特点?对比分析专家型与新手型初中数学教师“解题教学提问”有何差异?文章主要采用个案研究法、课堂观察法和访谈法对初中数学专家型与新手型教师“解题教学提问”对
复杂嵌入式系统在汽车舰艇、航空航天、武器装备等领域被广泛应用,对可靠性有极高的要求,在研制生产阶段对其进行相应的测试必不可少。本课题以航空机载武器系统应用为背景,
随着城市经济的不断发展,机动车保有量呈指数增长。汽车给人们提供出行便利的同时,也给城市道路造成了巨大的交通压力,提高交叉口通行效率成为缓解交通拥堵的关键手段。然而,传统的交叉口信号控制模式单一,实时性和鲁棒性较差。此外,大多信息获取手段依赖于线圈等故障率较高且数据单一的采集装置,这使制定合理的信号配时方案难度较大。网联车和车路协同技术的发展,为棘手的交通拥堵问题提供了新的解决思路和控制手段。本文基
实现更高质量的经济发展以及更好、更高质量的就业,是当前全面深化改革,以及经济发展由高速增长转向高质量增长的背景环境下,我国目前所面临的重要问题。改革开放以来,我国经济发展呈现出东部、中部、西部地区发展不平衡的状况,经济发展相对滞后的西部地区就业形势十分严峻。多年来,中央和各地政府有关部门一直积极致力于解决西部地区的经济发展和就业问题,虽然取得了一定的成效,但随着改革的不断深入,协调西部地区经济发展