【摘 要】
:
深度学习技术在近几十年来得到高速发展,这一技术随即被应用在越来越多的领域中,自然语言处理也有诸多研究方向可以使用深度学习,文本生成就是重要方向之一。文本生成是一项基础性研究,能够在许多实际场景落地,例如提取文本摘要、文本风格转换、文本自动纠错等。生成对抗网络是深度学习中一个备受关注的框架模型,现有的文本序列模型都具有数据离散的特点,将生成对抗网络直接应用于文本生成时,就会面临训练过程中无法通过反向
论文部分内容阅读
深度学习技术在近几十年来得到高速发展,这一技术随即被应用在越来越多的领域中,自然语言处理也有诸多研究方向可以使用深度学习,文本生成就是重要方向之一。文本生成是一项基础性研究,能够在许多实际场景落地,例如提取文本摘要、文本风格转换、文本自动纠错等。生成对抗网络是深度学习中一个备受关注的框架模型,现有的文本序列模型都具有数据离散的特点,将生成对抗网络直接应用于文本生成时,就会面临训练过程中无法通过反向传播完成参数更新的问题。另外,由于生成对抗网络的训练方式是把一个噪声分布映射在先验真实文本分布,但目前文本生成任务一般是字符级生成,这样的方式很容易出现生成文本重复性过高甚至模式崩溃的情况。最后,由于原始生成对抗网络中生成器的限制,训练过程中对于文本特征的提取能力有限,生成长文本的质量普遍较低。针对上述问题,本文提出了基于生成对抗网络的文本生成算法模型,主要工作内容如下:(1)本文基于序列生成对抗网络与自注意力机制的思想,提出了一种无监督的文本生成算法,生成网络融入了自注意力机制,在原始的Transformer模型上增加了使用高斯偏差的局部建模,改善了原模型不可并行化的问题,同时提升了捕获长距离文本特征的能力。同时目标函数使用惩罚最小化的机制,引入一种新方式来衡量Wasserstein距离,保证梯度不会消失,并且模式崩溃问题也得到改善。本文将新的模型在商品描述数据集上进行实验,判断在长文本方面的文本生成效果,实验结果证明,本文提出的生成模型与对比模型相比,生成的文本质量更高,文本多样性也更丰富。(2)将本文提出的文本生成模型应用于诗歌生成领域,以证明模型的普适性。针对诗歌特有的固定字数、尾词押韵与韵律声调规则,本文在上述工作的基础上,引入了拼音汉字对照表,并在算法中增加了尾词押韵判断部分,使得不仅能够保证生成诗歌的字数符合规则,格律音调上也能够最大程度符合诗歌规律。本文在唐代绝句诗词数据集上进行对比实验,与基线模型相比,本文提出的算法模型在综合评价尤其是押韵部分,取得了更高的分数。实验数据充分验证本研究提出的模型在文本生成领域的价值,也为未来工作的研究方向提供参考。
其他文献
知识图谱应用广泛,不仅是许多NLP(Natural Language Processing,自然语言处理)子任务的上游任务,还是推荐系统、问答系统中的重要组成部分。但主要来源于各类百科的结构化图谱存在大量缺失的关系,而经过关系抽取的图谱存在许多错误元组,这些问题影响了图谱应用系统的正确性。为解决以上问题,知识图谱推理(Knowledge Graph Reasoning,KGR)算法可用于对不完整的
在人工智能、5G技术高度发展的今天,室内定位技术越来越成为人们生活、工业生产、智慧城市建设、安防领域的刚需,起着举足轻重的作用。当下各类室内定位技术百花齐放,例如,基于无线通信、惯导、激光雷达、视觉等的室内定位技术。但室内定位并没有像室外定位技术一样形成统一化、标准化。传统的基于纯惯导定位系统可不依赖部署设备实现自主定位,但惯性器件的固有漂移导致定位结果存在有累积误差。地图匹配数据融合算法通过地图
近年来,随着行人检测技术的应用场景不断增多,其研究的价值和意义也越来越大。由于深度神经网络在行人检测任务中表现出良好的性能,目前大部分行人检测都采用基于深度神经网络的算法实现。然而深度神经网络存在参数量和计算量大的特点,在一些资源有限的小型终端设备中难以进行应用。针对这个问题,本文首先提出了一个基于轻量级神经网络的行人检测算法,包括两个技术点:两阶段轻量级行人检测网络和自适应区域聚焦技术。两阶段轻
图像的全景分割是图像分割领域近年来新提出的一项任务目标,其目的是对图像中每个像素进行类别预测,并对属于实例对象的像素进行实例区分。其任务综合了语义分割与实例分割的特点,是实现全面场景解析的关键一步。在自动驾驶、生物医学、智能机器人等领域有着广泛的应用前景。然而当前全景分割技术依然处于探索研究阶段,许多技术还不够成熟。现有的全景分割技术在实时性与准确率上难以达到工业水准。由于语义分割与实例分割任务在
近年来,机器人不断迅速渗透到社会生产与日常生活中,机器人感知的核心技术,同步定位与建图技术,已经成为研究重点。在许多SLAM的应用中,尤其是自主移动机器人领域,对算法的实时性提出了要求,由于SLAM算法本身的计算复杂度很高,运行在传统的CPU或嵌入式系统上速度较慢,需要高性能的CPU才能满足其要求,然而,由于尺寸和成本的限制,很难在移动机器人上部署高性能的CPU。除此之外,机器人系统还需要处理很多
随着我国信息社会的发展以及移动互联网的迅猛普及,社会中各类资讯信息与互联网的结合更加密切。借助互联网,信息可以在短时间内通过多种传播渠道分发给大量网民。以网络作为媒介,社会舆情可以更迅速、更具体地表现在网络空间中,形成网络舆情。网络舆情是新时代的产物,它的表达方式在具备自由性和互动性的同时也存在误导性和突发性。正确地利用网络舆情信息,充分地发挥其正面影响有利于形成积极健康的舆情氛围,维护社会和谐稳
随着互联网、物联网的日益普及以及各种网络技术和在线应用的提出和使用,对网络带宽的需求越来越大,未来对数字信息的需求将超过目前光通信系统的最大能力。这对作为骨干网的光纤传输技术提出巨大挑战。一方面要保证高可靠,另一方面又要保证大容量。为了平衡这两点,必须利用适合的光学性能监测(Optical Performance Monitoring,OPM)技术对光纤传输物理层参数进行监控,以实现资源的灵活调配
近年来,随着网络应用的迅猛增长,无线自组织网络中的路由协议应该增强自适应性,要既能够满足业务的传输需求,也要降低路由机制的复杂性,节省路由开销,更加高效地利用有限的网络资源。目前,传统的路由协议按路由的发现策略可以分为表驱动路由和按需路由。其中,表驱动路由因为需要网络中参与路由的节点掌握全局的网络拓扑信息,会带来较大的网络负载。而按需路由由于在数据报文传输前要进行一次寻路的操作,会带来较大的时延。
智能体是指通过对环境进行感知,并利用既有知识或者自身不断迭代的策略,与环境进行交互,完成指定任务的个体系统。而多个这样的智能体可以组成一个多智能体系统,可以解决单个智能体能力受限的问题。随着人工智能的发展,强化学习技术常应用在智能体建模上,尤其是深度强化学习可以增强智能体的感知、学习、决策能力。同时,多智能体之间的协作也会提高整体系统的能力上限,可以处理更为复杂的任务。但是,目前基于深度强化学习的
根据世界卫生组织统计,全球每年因交通事故而带来的伤亡高达上百万,由此可以看出车辆行驶安全的重要性,而智能交通系统将先进技术(人工智能、通信等)运用于交通运输系统中,可以提高系统的效率和安全性。随着近几年深度学习的发展,把深度学习技术用于智能交通系统行驶安全的相关研究越来越多,其中基于深度学习的轨迹预测就是一个很典型的例子,把轨迹预测用于轨迹异常检测和碰撞预警,对于车辆行驶安全有着重要的意义,然而,