基于端对端方法的任务型对话系统设计与实现

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:digitalmachineu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的发展,人机对话系统成为了学术研究的热点。广泛应用于任务型对话系统的方法是基于模块化的思想,将系统划分为自然语言理解、对话管理以及自然语言生成三个子模块。这种分而治之的方式保证了每个子任务独立建模,简单易于实现,但同时也存在三个问题:一是模块之间的依赖性强,数据的更新会带动所有模块进行调整以保证系统的全局优化;二是每个模块的训练需要大量独立的标签数据;三是子模块的设计跟特定领域相关,导致模型的领域移植性差。近年来,大量研究尝试使用基于端到端的对话框架来解决上述问题,然而现有的端到端模型多集中于非面向任务的对话系统,缺少对自然语言理解的建模及领域知识的应用。针对上述问题,本论文设计与实现了一个基于端对端方法的任务型对话系统。具体来说,本文的主要研究内容包括:(1)在自然语言理解的意图识别任务上,分别介绍了基于CNN、RNN以及两者混合的意图识别模型,其中重点提出了一种带有自注意力机制(self attention)的RNN模型。最后,实验结果对比表明带有加性自注意力的BiLSTM模型表现效果最好。(2)在自然语言理解的槽位填充任务上,分别介绍了基于统计机器学习、基于神经网络以及基于两者相结合的序列标注模型,重点阐述了利用神经网络提取输入文本的状态特征后通过CRF获取全局最优槽位标签序列的过程。最后,实验结果对比表明基于BiLSTM_CRF的模型表现效果最好。(3)提出了一种基于端对端的任务型对话系统架构,包括文本的特征表示、命名实体识别和状态跟踪、基于RNN的对话策略网络、对话动作模板和领域知识库等模块。在此基础上提出了两种不同的方式引入对自然语言理解的建模:第一种方式通过引入(1)和(2)中的意图识别和槽位填充模型,将预训练的自然语言理解模块加入到文本的特征表示中;第二种方式通过对自然语言理解和对话管理进行联合建模,充分探索了多任务之间的共享知识。实验结果表明上述两种模型的表现均优于前人工作中已发表的端到端模型。
其他文献
湿热环境对CFRP层板力学性能产生重要影响。通过加速吸湿试验研究T700/3228层板的吸湿特性,对比分析[0]16及[90]16层板经不同湿热环境处理后的性能退化情况,通过微观结构表征
采用压缩试验方法研究了湿热环境对机织碳纤维环氧复合材料压缩性能的影响。对干态、湿态复合材料层板进行了不同温度下的压缩试验。分析了该复合材料的吸湿特性、不同湿热环
梯级电站各计算断面多处无水文资料,本文选用呼图壁河流域水文站资料,根据规划区内已有的泥沙资料情况,对流域泥沙来源、时空分布进行分析,并根据石门水文站泥沙资料采用模数法推
小学生的课堂生命状态包括课堂自然生命状态、课堂社会生命状态和课堂精神生命状态三部分。小学生的课堂自然生命状态主要表现为小学生的疲劳、近视和生病缺课情况。小学生的
采用中性盐雾试验法和电化学试验法对锌镍合金镀层的耐蚀性进行了研究。通过X射线衍射、辉光放电光谱、扫描电镜等分析手段,对锌镍合金镀层的成分变化规律、微观形貌和结构以
重症急性呼吸综合征(Severe acute respiratory syndrome,SARS)的暴发,引起了政府的高度重视,北京市各医院也相继成立了发热门诊.依据北京市制定<关于进一步加强发热门诊管理
分别介绍了锌镍合金无氰碱性电镀工艺流程、工艺配方、钝化工艺和钝化膜老化处理工艺。研究了镀液的分散能力。分析了锌镍合金镀层特点。4年的应用实践证明,锌镍合金镀层对海
目的 为了进一步明确超敏C-反应蛋白(hs-CRP)与动脉粥样硬化之间有无明显相关性,及其与动脉粥样硬化严重程度的关系.方法 选取2014年12月~2015年5月我院门诊和住院患者112例,检
技术开发单位哈尔滨工业大学技术简介该系统利用微机自动检测及控制技术,采用在线测量厚度的方法.由计算机控制扫描机构得到厚度的实时测量值.再通过软件对测量数据进行处理和误
介绍了调节阀口径计算方法和验算要求,给出了计算调节阀口径需要的公式和建议。