融合主题信息的文本生成技术研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:yuantao22222
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前是一个信息爆炸的时代,人们都在创作或者接受各种各样的文本资讯。让机器学会生成文本在一定程度可以避免人们机械重复的信息生产过程,在提高效率的同时还可以为人类创作提供灵感或者辅助。文本的内容通常会围绕特定的主题进行展开,如果文本内容松散,缺乏明确的主题,文本可读性就会下降。当前的许多文本生成研究也较少对于主题信息进行建模研究,因此,本文主要探究融合主题信息的文本生成技术。首先,本文对主题模型的主题表示能力进行探究,通过在主题模型LDA中引入词向量与温度机制,将主题-词语分布改进成混合分布。通过设计损失函数并与吉布斯采样联合训练主题模型。实验结果显示,训练得到的主题模型能够在一定程度上提高主题内的一致性与主题间的多样性,获取的主题信息也能够在下游任务中提高实验效果。其次,本文将主题模型融合至生成式文本摘要中,具体任务为根据案例文书生成庭审焦点。通过将案例文书输入神经主题模型中,得到的主题-词语分布权重矩阵与文档-主题分布向量。将其进行线性变换并融合至基于Transformer的生成式文本摘要模型中。在诈骗罪、盗窃罪和故意伤害罪三个案由数据集上的实验显示,结合主题模型的生成结果在各项评价指标上基本优于普通的生成式模型,并显著优于抽取式文本摘要方法和一些无监督算法或启发式方法。最后,本文构建了一种主题增强的近体诗生成模型TPoet。通过在诗歌语料上训练主题模型,并将主题信息融合至基于Transformer的自回归语言模型中。具体包括在输入层引入主题标识符以及在Transformer计算单元中的主题注意力机制。同时,本文在输入层还设计了包括格式、音律、韵脚等标识符,让模型显式地学习生成诗歌的各种限制条件。在近体诗数据集上的实验结果显示,本文提出TPoet模型生成的诗歌在多个指标包括主题一致性、格式准确性、韵脚准确性等方面都要优于当前的先进结果。本文在文本生成中融合主题信息的策略可为其他研究提供参考。同时,本文研究也具有一定的现实意义,如庭审焦点识别研究有助于辅助检察机关工作人员的庭前预案;诗歌生成则在文学创作、教育、休闲娱乐等方面有广阔的应用价值。
其他文献
神经机器翻译系统在双语句对齐资源丰富的场景下可以提供最先进的翻译性能。然而,对于医疗领域,域内语料资源的稀缺严重影响了翻译系统的性能。同时,医疗领域存在着大量的医学术语,机器翻译系统在低频术语的翻译上也往往表现不佳。面向双语句对齐资源丰富的新闻领域,提出了一种融合数据增强与多样化解码的神经机器翻译方法。首先,对语料中不同种类的未登录词进行泛化以缓解词汇稀疏的现象。其次,采用数据增强中的正向翻译技术
随着国内土木工程结构向着高度更高、跨度更大、结构形式更加复杂的方向发展,对大型复杂结构进行模态测试,获取结构的动力学特征,并以此进行状态评估与安全预警,已成为学界关注的热点问题。如何从大型复杂工程结构上采集到更加准确完整的结构响应,是模态测试首先需要解决的问题。国内外学者为此提出了一系列测点优化布设评价准则,用以指导测点位置的选择,提升模态测试中信息采集的准确性。但是利用这些准则选取测点需要以结构
人体运动识别作为计算机领域的前沿方向,具有十分重要的研究意义,相关算法可以被应用到许多领域,例如动作内容分析、人机交互、视频合成、视频检索等。特别是近几年来短视频平台的高速发展,使得相关的人体动作视频越来越多,对于这些视频信息的处理研究都需要有高效准确的识别算法作为支撑,因此研究人体动作识别算法在计算机领域势在必行。在人体动作识别的算法研究中,有很多经典的视频分类数据集,例如UCF101、HMDB
脑肿瘤分为恶性脑肿瘤和良性脑肿瘤,前者是癌性的,容易扩散到大脑的其他部位,后者则不然。然而,在这两种情况下,脑肿瘤在刚性脑部空间的生长都可能导致人体功能障碍,甚至危及生命。脑肿瘤的发病率正在逐年增加,对公共卫生造成了极大的负担。诊断脑肿瘤的主要方法为利用脑部核磁共振成像图(MRI)对脑肿瘤区域进行分割,然而目前对脑肿瘤进行分割仍由脑外科医生手动进行。以这种方式分割需要花费脑外科医生大量的时间进行标
图像语义分割技术是计算机视觉领域中的一项重要的研究内容,在无人驾驶、医学影像、场景理解等领域中都有着不可或缺的作用。近几年随着深度学习的飞速发展,图像语义分割技术的整体性能得到了巨大提升,但深度学习模型对于大规模高精度数据集的依赖也成为了很多算法在泛化性和鲁棒性上的主要瓶颈。高精度的语义标注需要大量的人力和时间成本,如何在短时间内实现准确的数据标注,是图像语义分割技术面临的主要挑战之一。针对这一问
随着科学技术的不断发展,无人机航拍技术被广泛应用到农业、工业、军事等领域。但是受到相机视角的限制,单张航拍图像中所涵盖的内容,无法满足研究人员对信息获取的需要,因此,为了获得大比例尺、信息全面的图像需要对采集的航拍图像进行拼接。针对航拍图像具有易受光照、尺度和旋转等特性变化影响,以及图像不连续、存在视差的特点,本文以特征提取和图像扭曲变形两个阶段为切入点,致力于研究能够适应航拍图像特点的特征提取算
由于司法流程公开与共享的不断推进,我国的司法大数据公开化已趋于成熟,蕴含于法律文书中的丰富法律信息成为了值得深入研究的珍贵资源。但由于法律文书以自然语言形式进行记录,机器难以直接对文档内容进行理解和分析。因此,通过文本挖掘技术对非结构化的司法领域文本进行信息提取和结构化存储,对司法领域信息化发展以及司法效率的进一步提高都具有积极意义和深远影响。文本挖掘中的实体识别和关系抽取技术对于法律文书中关键信
随着软硬件技术的飞速发展,大规模知识图谱的构建和存储成为了可能,并为问答系统、药物发现等人工智能应用提供了知识基础。问答系统作为人工智能领域一项前景广阔的落地应用受到人们的广泛关注。与通过搜索引擎获取知识的方式相比,问答系统能更加智能和高效地给出确切的答案。基于知识图谱的问答系统(Knowledge Based Question Answering,KBQA)结合二者的优势,将用户的查询解析为逻辑
随着信息时代的到来,人们在网上获取知识的渴望越来越高。传统的基于搜索引擎的信息检索方式会返回大量与问题相关的网页,这不仅对网页的排序准确率有较高的要求,还需要人工的去点击链接筛选信息,这无疑会耗费一定时间。因此,问答系统应运而生。问答系统可以直接理解用户的问题,返回简洁正确的答案,降低用户查询成本。知识图谱是一种新型的数据库,可以看作是巨大的语义关系网,表示客观世界实体之间的关系,其以图结构存储知
汽车工业和计算机深度学习等技术的进步使无人驾驶汽车(Automatic Vehicle,AV)逐渐成为一种不可替代的交通方式。自主代客泊车(Autonomous Valet Parking,AVP)功能作为无人驾驶汽车的重要功能之一,使汽车能自主完成导航和泊车任务。在自主代客泊车领域,分为短程自主代客泊车(Short-range Autonomous Valet Parking,SAVP)和远程自