基于Attentive LSTM网络模型的答案匹配技术的研究

来源 :上海师范大学 | 被引量 : 0次 | 上传用户:lionpb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年,基于口语对话系统的自然语言理解已经成为人工智能领域的热门话题之一。许多有影响力的口语对话系统(苹果Siri,IBM Watson,亚马逊Echo等),都包括了一个智能问答模块。问答系统作为一个完备的系统,主要由问题分析、文档检索、答案匹配等模块组成。其中答案匹配是问答系统中十分重要的组件,问题与答案是否匹配正确直接关系到问答系统整体的质量与性能。针对答案匹配任务,传统的方法主要依赖特征工程、语言工具亦或者外部资源来解决选择答案的,利用人工制定的特征提取策略提取问题文本与答案文本的特征,接着对问题答案的特征进行匹配,从而选择给定问题的答案;有时需要引入语言学工具(如语法树)、依赖树等)来提取问题与答案语言上的特征。但传统的答案匹配方法存在以下几点不足:(1)人工制定的特征提取策略具有一定的主观性,不能全面理解问题;(2)为取得较好的效果,需要不断调整、优化特征提取策略,灵活性不高;(3)语言学工具的引入造成系统复杂度非常高。随着深度学习技术在图像识别、机器翻译等领域逐渐取得很大的进展,深度学习模型在数据预处理和特征提取方面被证明有很大的优势。本文在针对问答系统中的问题与答案匹配的一般过程以及深度学习模型面临的一系列挑战的基础上,对应用深度学习模型来解决问答匹配问题做了深入的研究。本文的主要研究工作如下:(1)针对自然语言处理领域因为数据表示维度高而造成的模型难以训练的问题,本文利用Word Embedding机制,将词映射到K维的向量空间中去,用K维的实值向量表示每个词而不是高维的0、1序列。由于采用Word Embedding机制预训练出的词向量具有相似词具有相近的向量空间的特点,将其作为网络模型的输入,提高了问题答案匹配的准确率。(2)本文详细描述了自然语言处理领域深度学习依然面临的挑战,如长距离依赖问题、梯度消失问题。句子中的核心词之间的依赖关系是语言的一种普遍现象,通常在句子中并不是相邻出现的,而是相距一定的距离。梯度消失问题则是因为在执行反向传播算法过程中,梯度会随着时间步慢慢变小,以至于最终消失的一种现象。(3)基于前人的研究基础,针对问题答案的表示与特征提取问题,本文设计了一种基于Attentive LSTM模型用于提取特征。同时加入Attention机制,通过计算注意力概率分布,得到输入节点的语义编码,减少了特征提取过程中的信息丢失和信息冗余,突出了重点词对特征向量表示的影响。
其他文献
光学字符识别(OCR)是指将纸上的文字转化为计算机所能处理的形式(如ASCII码)的过程。手写体字符识别是光学字符识别的一个分支,手写体字符识别在邮政信件分拣、银行票据的自
虚拟现实技术(VR)一直是信息领域研究、开发和应用的热点,它将通信技术、信息技术、计算机硬件和软件技术等前沿科技交叉在一起,提供给使用者一种身临其境的感觉,即沉浸感。实现
高级量测体系(AMI)是智能电网的一个重要组成部分,近年来得到了越来越多的研究和应用,是当前的一个研究热点。通过AMI,电力公司不仅可以收集、存储、分析和提供来自智能电表等设备的相关数据,而且可以向智能电表等设备发送控制信息,提供远端设备的固件升级服务,实现了电力公司和用户之间的双向通信和互动。本文重点研究了AMI数据转发机制和应用层安全机制。在数据转发机制方面,提出了一种以IPv6的引入与增强型
目前国内电信运营支撑系统中的信息共享不充分以及数据备份冗余,电信管理论坛提出的共享信息模型的方法,通过信息共享的方式集成现有系统,打破信息孤岛。电信企业的数据模型有很
网格系统是将地理位置分布、系统异构、动态变化的各种资源,通过互联网连接起来,使用标准的、开放的和通用的协议和接口,向用户提供非平凡服务的非集中控制环境。网格计算技术已
近年来,随着无线局域网(Wireless Local Area Network,WLAN)的高速发展,IEEE802.11标准不断普及。IEEE 802.11定义了两种信道访问机制:分布协调机制(Distrjbuted Coordinated Func
北京2008奥运会是中国历史上第一次主办的奥运会,届时来自世界各国的有着不同文化背景、说不同语言的各类人员将云集北京。中国作为2008奥运会的主办国家,北京作为2008奥运会的
近几年,数据流在股票交易、网络流量监控、网络安全监控、电信通信记录、传感器网络等许多领域有着广泛的应用。简单地说,数据流是无限的、连续的、快速的、实时的数据集合。由
如何在浩如烟海的Web信息中更好地找到用户关心的信息,是搜索引擎面临的一个极大的挑战。主题爬行器通过将下载页面限定在特定的主题领域,来提高搜索引擎的效率和提供信息的质
协同商务平台是一个大型复杂的集成应用系统,它以Internet为媒介,通过浏览器与分布在不同地域的用户及企业进行交互,并借助Web服务技术,实现了协同商务平台与其他应用系统的