基于预训练模型和图卷积神经网络的事件抽取技术研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:rlhRLH
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着自然语言处理领域的快速发展,事件抽取作为自然语言处理领域非常重要的基线任务展现出了颇高的学术价值以及研究价值,因而吸引来了众多的国内外科研工作们的关注。目前大部分事件抽取相关研究是基于英文文本进行的,基于中文文本事件抽取的研究工作相对较少。事件抽取任务可分为句子级事件抽取与文档级事件抽取。句子级事件抽取相对比较容易,主要是因为句子级文本的长度相对较短,并且所描述的语义信息比较集中。对于文档级事件抽取目前存在的挑战相对较大,主要具有以下特点:一个文档中描述与事件相关的语义信息可能集中于某个关键的句子或是分散于不同的句子中。综上,本文的主要研究内容如下:1.提出一种基于预训练模型的句子级事件联合抽取模型,该模型主要是将数据集中的句子看作是一系列由字组成的字序列,首先使用Bert预训练模型进行编码,使其每个字含义特征得到增强。然后使用Transformer编码器对句子进行编码,使其每个字能够充分的融合上下信息特征。为了使得模型能够更好的记忆句子结构相关的信息特征,本文引入了基于图卷积神经网络的门控机制。最后使用条件随机场CRF预测出序列的输出,最终完成事件抽取任务。2.提出一种基于双图的文档级事件联合抽取模型,首先使用Transformer作为编码器对整个文档的每个句子进行编码,同时结合条件随机场完成文档中实体的识别,进一步实现了端到端的事件抽取。然后通过构建两个图结构使用图卷积神经网络使得实体提及能够捕捉文档全局的特征以及实体之间的依赖特征。最后通过事件联合抽取模块,将文档级事件抽取看作为无触发词的多标签分类任务,实现事件的联合抽取,避免了管道式方法引发的误差传递。3.设计并实现了文档级事件抽取系统,主要是将基于双图的文档级事件联合抽取模型添加到系统中供用户使用。除此之外,系统添加了存储事件抽取记录功能,供用户对事件抽取记录进行保存和查询的操作,同时为了提高用户使用该系统的体验,系统还为用户提供了相应的可视化界面。
其他文献
近年来,伴随着无线网络技术的快速发展及用户多样化业务需求的增加,形成了由多种无线网络技术重叠覆盖而成的异构无线网络。复杂的网络环境,导致恶意网络可以轻易地隐匿其中,进而对用户的个人信息安全带来威胁。当前异构无线网络中的网络选择算法大多结合网络性能与用户偏好进行选网,但对网络的安全性这一参数重视不够。因此,本文将保护用户信息安全作为前提,分别从提升网络利益与均衡网络负载两个角度开展研究工作。本文的主
学位
车联网作为下一代交通系统在全球范围内被广泛采用,网络中的车辆之间可以通过开放的无线信道交换道路状态、交通事故和位置共享等多种信息,消息的完整性、真实性至关重要。车辆常处于不受保护的环境下,极易遭受网络攻击。因此,如何保证车联网的通信安全是车联网系统面临的关键问题之一。本文围绕轻量级身份验证协议的设计与分析展开了研究,具体如下:1.针对车辆秘密存储数据容易受到侧信道攻击的威胁,提出一个基于BS-PU
学位
随着目前各种感知设备的发展以及各个领域都开始向数字化转型,海量数据爆发,点云作为一种典型的通过三维坐标表示物体的数据格式,被运用在了越来越多的应用场景,如医学模型重建、自动驾驶等领域。传统的点云算法在面对海量数据及复杂场景的情况下显得越来越乏力。近年来随着深度学习的快速发展,有学者开始将深度学习运用到点云处理中。其中PointCNN作为点云深度学习的代表性神经网络,在诸多领域表现出了优异的效果,然
学位
绘画是一项古老的技术,可以追溯到旧石器时期,古猿人用绘画的形式来记录生活。随着人们物质生活的提高,绘画作品往往用来保存与传递作者所要表达的信息,与此同时它还给人们带来感官上的享受。绘制某种特定风格的图像需要具有一定绘画技术,而刻意去学习绘画技术往往需要耗费大量的时间和经历。图像风格迁移作为图像处理领域的一个分支任务,它可以在短时间内将一张普通照片转换成某种艺术风格的图像。风格迁移技术能够节省了使用
学位
桥梁是城市交通系统中重要的组成部分,一旦发生事故往往将造成极大的经济损失,甚至人员伤亡。因此,需要对桥梁进行定期检测与维护,及早发现桥梁病害以防止出现严重的桥梁坍塌事故。目前,桥梁表观病害检测主要采用人工检测的方式,然而基于人工的桥梁病害检测方式存在主观因素大、劳动强度高、自动化程度低等缺点。随着桥梁数量的进一步增长,基于人工的检测方式已经无法满足实际工程应用的需求,因此迫切需要研究更加高效、智能
学位
报纸
一直以来,建立一个能够和人类正常交流的对话系统是研究者们追求的终极目标,情感对话生成任务和对话中的情感识别任务都是达成这一目标的重要研究方向。目前情感对话生成模型已经能够生成包含情感的语句,但是语句的情感表达强度不够,在指定情感的情况下,生成语句的情感准确率还是无法满足现实需求。目前对话中的情感识别任务处于起步阶段,在近几年才开始受到重视,情感识别的准确率也处于一个较低的水平,准确识别对话中的情感
学位
人体姿态估计是近年来计算机视觉领域的主流研究内容,在人机交互、电影制作、监控安全和互联网领域有广阔的应用前景。当前人体姿态估计方法在困难任务中的表现仍不尽如人意,大多数方法使用图像的全局上下文信息来预测关键点,忽略了关键点之间的关联性信息,容易导致网络负迁移学习。其次,人体姿态估计作为一项基础性研究,缺少一套完善稳定的软件系统将其应用于后续研究中。针对以上问题,本文引入了信息论中的相关性理论,将关
学位
空间异质性是指因地理位置和时间的变化而引起的变量间关系或结构的变化,主要表现为时空非平稳性。城市用地扩张及其驱动因子表现为强烈的时空非平稳性,通过动态建模方式深入揭示这一特性,能帮助我们更好地理解城市变化的动态过程。分区建模可有效解决数据驱动的元胞自动机(Cellular Automata,CA)耦合模型中对用地转换规则的局部特征学习不充分的问题,以减小空间异质性对模拟结果的影响。针对城市群空间扩
学位
濒危动物监测是野生保护研究的重要手段之一,但常规的监测手段需要大量人工干预,不利于全时监测的开展。因此,发展智能化的濒危动物监测系统成为迫切需要,而构建高效的目标检测模型是其中的关键所在。然而,由于濒危动物数量和分布都有典型的稀疏性,导致濒危动物图像样本的极度匮乏。若直接采用稀疏样本进行训练,模型会出现严重的过拟合,难以正常工作。如何利用极少量濒危动物样本进行学习,就成为濒危动物智能监测需要关注的
学位