基于深度学习的任务型对话系统中意图识别的研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:man1300
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自然语言理解作为构建人机对话系统的核心组成部分之一,具有非常重要的科学研究价值。而意图识别则是自然语言理解系统中的一项子任务,其准确性直接影响到了自然语言理解性能,进而影响人们对人机对话系统使用的体验。随着人机对话系统的不断发展和完善,越来越多的任务型人机对话系统不断地部署到人们的现实生活中,如智能手机助手、车载语音助手以及APP中的智能客服系统等等。然而,由于人类口头语言在现实场景中的随意性和简洁性,使得在现有的人机对话系统中,存在着大量的非标准化表达形式的句子,这些句子通常表现出语言简短、内容宽泛等特点。通过分析这样的对话文本来确定用户意图是一项具有挑战性的任务。考虑到监督学习方法是当前意图识别的主流方法,但它需要大量公开标注好的训练语料库。然而,语料库标注的工作不仅繁重且耗时,而且具有很高的人工成本。为此,本文第一个工作内容是在交通客户服务领域中收集了一个大规模的中文多意图对话语料库——CMID-Transportation。语料库中包含251094条对话,大约104万个句子,涉及到8个意图,不仅包含人与人交互形式,而且还包含人与机器交互形式。在这个语料库上基于现有主流分类算法进行了一系列实验,并提出了一种基于BERT的上下文建模的意图识别方法。该方法首先将对话文本进行数字化,表示为机器可以理解的编码向量形式,该编码向量是由字向量、文本向量和位置向量简单地求和得到,然后输入到BERT模型中以获取文本中不同层次的语义信息,最后构建分类模型对BERT输出的文本语义向量进行权重训练,最终获得意图分类结果。在本文的第二个工作中,受语音识别过程中出现丢字(漏字)或转录出错等现象启发,提出一种简单高效的基于数据增强的意图识别方法。该方法首先通过模仿语音识别过程中可能出现的问题,对已有训练语料进行随机同音字替换和随机删除操作,以获得带有不同语义信息的训练语料。然后对训练语料进行数字化表示为计算机可以理解的编码向量形式输入到BERT模型中,以获取不同层次的文本语义向量。最后构建分类模型对文本语义向量进行权重训练,获得意图分类结果。最后,本文对提出的两种意图识别的方法在CMID-Transportation数据集上进行实验,并与其它方法进行了实验结果的比对。实验结果显示出这两种方法在Hamming loss,zero-one loss,Micro-F1以及Macro-F1上都具有一定的优势。
其他文献
随着人工智能技术的快速发展,智能化的人-机交互设备已逐渐走进人们的生活。虽然它们能够较好地按照人们的意愿完成相应的功能,但几乎不能进行情感交流,无法根据使用者的心理感受调整交互方式,这极大制约了其功能和应用范围。情感作为一种主要的信息交流方式,在人们的日常沟通中发挥着重要的作用。开发具有情感自主感知的人机交互系统,已成为人工智能与人机交互领域中一个重要的研究方向。目前,情感计算的主要数据来源大致可
随着信息技术的发展,各领域的数据规模以惊人的速度扩张,这一方面给机器学习、数据挖掘等任务带来了更多的训练信息,另一方面增加了处理这些数据的难度。实例选择(Instance Selection,简称IS),作为一种常见的数据预处理技术,可以有效地删除一些冗余、噪声的样本,从训练集中获得一个优秀的子集,被广泛应用于机器学习、数据挖掘等任务中。因为实例选择的重要性,过去几十年里,有许多不同的实例选择算法
随着信息化和大数据时代的进一步到来,日益扩大膨胀的信息和数据已经充斥着人们生活的方方面面。为了高效和准确地获取信息,推荐系统成为了人们日常生活中不可或缺的工具。当前,大多学者对推荐系统的研究主要是针对单一领域推荐性能的提高。这种推荐系统大都存在着数据稀疏性的问题,很难精确地建模用户的兴趣。事实上,用户的信息通常是跨平台或者跨领域的,因此不同领域的信息可以相互共享和互为补充。但是针对一个特定的推荐任
随着5G网络的开始商用,人们已经开始越来越依赖网络了。网络中每天都会产生大量的数据,这些数据包括网络用户的一些个人信息,银行卡号,支付密码等等。用户与网站安全的数据交互变得尤为重要。目前,钓鱼网站因其拥有存活时间短,危害性大的特点已经成为网络安全中的一个重大威胁。网络钓鱼利用诸如电子邮件和SMS之类的社会工程技术,将网络钓鱼URL伪装成合法网站的URL来窃取用户的私人信息。因此建立一个可以快速并且
甲状腺结节是最常见的临床病变之一,可由多种病因引起,其发病率逐年升高。对其治疗的关键问题是鉴别结节的良恶性质。超声诊断是甲状腺结节诊断的一种常见方法,并在识别结节大小,定位结节部位、指导穿刺上具有一定价值。当放射医师根据甲状腺超声图像判断甲状腺为恶性时,应进一步进行细针穿刺活检或手术。但是,由于缺乏经验的放射科医生可能会导致误诊。此外,甲状腺结节自身形态复杂多样,以及超声图像本身噪声高且对比度低,
自二十一世纪以来人工智能技术的快速发展,深度学习中的神经网络算法凭借其自主学习能力在分类,检测和分割等任务上得到深入研究,目前基于深度学习的目标检测算法在行为监控、目标检测与追踪、自动驾驶等多个实际应用场景中都证明了其优秀的表现能力。随着遥感技术的进步雷达波已经成功达到毫米级别,合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种应用最多、穿透力较强的雷达波,能够有效探
CDMA是现代通信系统中重要的通信技术之一,其信道可供所有用户同频、同时占用,以扩频码区分用户。但在多用户情形下存在多址干扰问题,使得用户数量的上限和CDMA系统性能受到限制。基站接收机可以使用多用户检测算法来减弱多址干扰并增加系统容量,串行干扰消除(SIC)是多用户检测算法之一,由其具有实现复杂度低和系统性能高的特点而受到广泛的关注。使用这一类的多用户检测算法,可以有效缓解CDMA所面临的多址干
脑-机接口(Brain-Computer Interface,BCI)技术通过解码大脑产生的电信号,在大脑与外部设备之间建立起一条直接的通信通路,是一种新型的人机交互模式。基于头皮脑电(Electroencephalogram,EEG)的BCI由于安全性好、操作简单的优点受到研究人员的广泛关注,但头皮EEG信号的信噪比和空间分辨率不高。独立分量分析(Independent Component An
随着深度学习技术的发展和终端设备的普及,深度学习应用被广泛运行在终端设备。深度学习应用具有强大的数据分析功能,能够处理终端设备产生的海量数据并提取有效信息,以实现终端设备的智能化。深度学习应用作为资源消耗型任务,目前主要有两种部署和执行方式:一种是基于云服务器的部署和执行,另一种是基于终端设备的部署和执行。基于云服务器的部署和执行,将终端设备产生的海量数据发送到云服务器,这将带来较高的传输时延,难
随着电子商务的不断发展,车辆路径优化问题成为物流领域的研究热点,合理的路径规划可以有效提高货物运送效率,降低运输成本。进化算法在求解该问题上可以获得较好解,因而诸多学者对此进行了深入研究。然而,现有基于进化计算的求解方法搜索解的速度较慢,并且存在随着问题规模不断扩大算法性能急速下降的情况。因此,本文针对带容量约束的车辆路径优化问题(Capacitated Vehicle Routing Probl