论文部分内容阅读
近些年,基于口语对话系统的自然语言理解已经成为人工智能领域的热门话题之一。许多有影响力的口语对话系统(苹果Siri,IBM Watson,亚马逊Echo等),都包括了一个智能问答模块。问答系统作为一个完备的系统,主要由问题分析、文档检索、答案匹配等模块组成。其中答案匹配是问答系统中十分重要的组件,问题与答案是否匹配正确直接关系到问答系统整体的质量与性能。针对答案匹配任务,传统的方法主要依赖特征工程、语言工具亦或者外部资源来解决选择答案的,利用人工制定的特征提取策略提取问题文本与答案文本的特征,接着对问题答案的特征进行匹配,从而选择给定问题的答案;有时需要引入语言学工具(如语法树)、依赖树等)来提取问题与答案语言上的特征。但传统的答案匹配方法存在以下几点不足:(1)人工制定的特征提取策略具有一定的主观性,不能全面理解问题;(2)为取得较好的效果,需要不断调整、优化特征提取策略,灵活性不高;(3)语言学工具的引入造成系统复杂度非常高。随着深度学习技术在图像识别、机器翻译等领域逐渐取得很大的进展,深度学习模型在数据预处理和特征提取方面被证明有很大的优势。本文在针对问答系统中的问题与答案匹配的一般过程以及深度学习模型面临的一系列挑战的基础上,对应用深度学习模型来解决问答匹配问题做了深入的研究。本文的主要研究工作如下:(1)针对自然语言处理领域因为数据表示维度高而造成的模型难以训练的问题,本文利用Word Embedding机制,将词映射到K维的向量空间中去,用K维的实值向量表示每个词而不是高维的0、1序列。由于采用Word Embedding机制预训练出的词向量具有相似词具有相近的向量空间的特点,将其作为网络模型的输入,提高了问题答案匹配的准确率。(2)本文详细描述了自然语言处理领域深度学习依然面临的挑战,如长距离依赖问题、梯度消失问题。句子中的核心词之间的依赖关系是语言的一种普遍现象,通常在句子中并不是相邻出现的,而是相距一定的距离。梯度消失问题则是因为在执行反向传播算法过程中,梯度会随着时间步慢慢变小,以至于最终消失的一种现象。(3)基于前人的研究基础,针对问题答案的表示与特征提取问题,本文设计了一种基于Attentive LSTM模型用于提取特征。同时加入Attention机制,通过计算注意力概率分布,得到输入节点的语义编码,减少了特征提取过程中的信息丢失和信息冗余,突出了重点词对特征向量表示的影响。