【摘 要】
:
随着深度学习的兴起,自然语言处理的各个领域都出现了翻天覆地的变化,在对话机器人领域这一块,同样与以前大不相同:不再仅仅只有传统的基于匹配的对话机器人,出现了越来越多的生成式对话机器人。它们能满足用户的交流需求,增强用户粘性,也能承担部分任务型机器人的工作。研究生成式的对话机器人已是目前的热点之一。在人类语境下,每个人都具有固定的个性,人们总倾向于回复带有鲜明个人风格的语句,并保持个性一致。传统的以
论文部分内容阅读
随着深度学习的兴起,自然语言处理的各个领域都出现了翻天覆地的变化,在对话机器人领域这一块,同样与以前大不相同:不再仅仅只有传统的基于匹配的对话机器人,出现了越来越多的生成式对话机器人。它们能满足用户的交流需求,增强用户粘性,也能承担部分任务型机器人的工作。研究生成式的对话机器人已是目前的热点之一。在人类语境下,每个人都具有固定的个性,人们总倾向于回复带有鲜明个人风格的语句,并保持个性一致。传统的以seq2seq模型为基础的生成式对话机器人在过去获得了巨大的成功,但该模型往往生成的是缺乏个性,或者前后个性不一致的回复。除此之外,seq2seq模型还存在各种各样的问题:安全回答问题,回复语句多样性差,训练时间长……鉴于以上原因,本文将尝试抛弃传统的seq2seq模型,以变分自编码器作为模型的整体框架,让回复个性化,保持前后个性一致,提高回复多样性等几个方面作为本文的模型改进思路。本文主要是在Per-CVAE模型的基础上做改进提出Trans-CVAE。本文主要的改进工作如下:(1)将Per-CVAE的编码器部分由循环神经网络替换为Transformer。Transformer是目前NLP领域最先进的模型之一,也是预训练模型bert的基础。其相较于RNN可以大幅度提高训练速度,并且Transformer模型在机器翻译等任务里都比RNN表现的更为出色,可以期望以此作为编码器来提高模型的编码质量。(2)改进个性储存部分和选择部分,借鉴Transformer的多头注意力技术,使全局个性向量内容更丰富。在模型机制下,能利用个性储存和对应的解码方式达成更精准的个性化回复生成,并同时完成前后个性一致的目标。在个性选择部分中更改选择方式,不只选用得分最高的个性回复,在满足阈值的情况下使得个性选择更有随机性。(3)对变分自编码器中的KL散度消失问题解决方法作出整合,对KLA,word dropout等各种方法进行分析比较,并指出它们的局限性,并在Trans-CVAE中最终选用加入bag-of-word损失的方法,加入另一个依赖隐变量z的模块,来增强整体模型对隐变量z的依赖,以此避免KL散度消失。(4)整合适合于个性对话语料的评测指标,并对个性覆盖度指标进行改进,利用tf-idf值对于停用词进行筛选,防止和个性文本高度相似的生成回复被错误评测为个性覆盖度不够。
其他文献
将聚乳酸(PLA)/聚己二酸对苯二甲酸丁二酯(PBAT)熔融共混,添加聚丁二酸丁二醇酯(PBS)改性,制备PLA/PBAT/PBS共混复合材料,研究PBS对PLA/PBAT的共混改性效果。采用熔体流动速率、硬度、软化温度、力学测试及SEM电镜等方法表征PLA/PBS/PBAT共混物的性能。结果表明,随着PLA含量的增加,PLA/PBAT复合材料的硬度、拉伸强度、软化温度和熔体流动速率明显增加。结合
改革开放以来,中国积极参与国际产业分工并逐步融入了全球价值链,凭借“人口红利”、自然资源禀赋优势等而成为“世界工厂”与制造大国。然而,制造大国不一定是制造强国。在中国经济由高速增长转向高质量发展的背景下,党的十九大报告提出“培育若干世界级先进制造业集群,促进我国产业迈向全球价值链中高端”,提升产业集聚水平,推动制造业全球价值链升级,成为中国制造业发展的战略选择。那么,怎样实现制造业从工艺升级、产品
加强和创新城市基层社会治理是新时代社会建设的重要任务、国家治理的重大挑战。城市基层社会治理是一项系统工程,其中,激活基层社会治理的动力系统是前提和先决条件。没有驱动力,再好的基层社会治理模式和机制也无法运行,而驱动力不足,基层社会治理则难以持续、长效。在全面建设社会主义现代化国家新征程的背景下,加快建设人人有责、人人尽责、人人享有的社会治理共同体,探明城市基层社会治理动力问题,准确把握和运用不同的
随着城市的规模不断扩张,快速路以其速度快、容量大的特点,被越来越多的城市选择为城市中大流量、长距离和快速交通服务的载体。然而在城市的发展过程中由于规划的局限性或者历史原因,一些城市快速路两侧的土地利用形态存在不合理或者开发强度过高等问题,导致快速路周围聚集过多的交通吸引点或交通发生点,由此产生的交通需求使得从快速路左转到达相交的次要道路以及从相交的次要道路左转到达快速路的交通量大幅增加,这一部分交
最小化差别疏散性问题(Min-Diff DP)是一个有着广泛应用的组合优化问题,属于NP难问题。给定n个元素及元素之间的距离矩阵,最小化差别疏散性问题的目标是确定m(m
胆碱能神经元是中枢神经系统中一类重要的调制类神经元,分布于脑内多个关键脑区,支配学习、认知、睡眠、恐惧等功能。胆碱能神经元的异常会引起多种神经系统疾病。前期研究显示,基底前脑的胆碱能神经元通过复杂的投射参与不同的功能环路,与运动核团等胆碱能神经元存在明显差异,而其基因层次的机制尚不清晰。单细胞测序是在单细胞或单类细胞群体的层次对遗传信息进行分析,能够从转录水平解析细胞形态和功能的多样性。本文利用单
随着城镇化和工业化的加快,大气污染问题日益严峻。针对我国十分严重的大气污染问题,政府高度重视并提出制定了一系列的法制法规来减少大气污染物的排放量,以此改善空气质量。例如,2017年武汉市人民政府印发了《武汉市环境保护“十三五”规划》,要求降低各污染物的排放总量,确保2020年细颗粒物(PM2.5)的年平均浓度下降30%。在2017年武汉市PM2.5年均浓度为53μg/m~3,2019年武汉市PM2
城市轨道交通凭借其快速、安全、准点、绿色的优点已逐渐成为城市公共交通骨架,掌握作为运行图调整重要依据的站点实时客流显得尤为重要。论文将实现动态交通管理,提升轨道交通出行体验作为立足点,深入研究城市轨道交通站点客流特性,探索适用性更广、精度更高的实时客流预测方法。论文运用大数据技术深入挖掘自动售检票系统(AFC)数据信息,生成站点时间序列短时客流,依据统计学理论并结合定性与定量分析,研究站点客流时变
稀土-铁基磁致伸缩材料具有应变大、能量密度高、换能效率高等优点,是实现电-磁-机械能相互转换的理想材料。其中Tb-Fe合金的易生长方向为,易磁化轴方向为,因此制备取向的Tb-Fe合金是提高其磁致伸缩性能的有效途径。本文将强磁场与定向凝固技术相结合,以室温下饱和磁致伸缩系数最大的Tb-Fe合金为研究对象,研究初生相(RFe3)和包晶相(RFe2)在强磁场下的取向行为及二