基于Transformer和BERT模型的中文文本情感分析的研究

来源 :兰州理工大学 | 被引量 : 0次 | 上传用户:zhouyang340345
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的全面普及,人们在微博、论坛、点评网站、购物网站等平台上发表的观点和评论数量呈指数形式增长。通过对这些数据进行收集、分析、挖掘,获取其中所包含的情感倾向,对于个人、企业和政府来讲具有重要的意义。随着互联网中文本数据的快速增长,人工智能的飞速发展,机器学习和深度学习的普遍应用,文本情感分析得到了学术界的广泛关注。本文首先通过对中文评论文本进行分析,结合文本数据的特征,提出了一种基于改进Transformer模型的二元中文文本情感分类方法。其次,由于二元文本情感分析所划分的标准过于绝对,不能很好的满足实际生活中的需要,提出了一种基于BERT模型的三元微博文本情感分析方法。本文的主要研究工作如下:针对现有的文本情感分类模型中存在的信息缺失、上下文关联不强等问题,对Transformer模型进行改进,使模型的训练难度减小,训练时所消耗的时间更少,模型的整体性能更佳。通过在原有模型的基础上增加新的rawkeys变量的方式对模型中多头注意力机制进行填充,并使用IN标准化方法和GELUs激活函数对模型进行优化,分析数据集中用户的情感倾向。实验结果表明,该方法能够有效地提高模型的整体性能,减少模型训练时间,有利于解决文本情感分类任务。针对中文文本一词多义而导致的文本情感分类性能不佳、准确率较低以及不能准确理解文本所表达的语义信息等问题,提出了一种基于BERT模型的三元中文文本情感分析方法。通过BERT模型内部的Transformer编码器捕获文本的相关特征,然后引入注意力机制,对模型所提取出的信息进行加权,突出关键信息。最后,利用Softmax函数对文本特征进行分类。实验结果表明,该方法在疫情期间新浪微博数据集上取得了较好的文本分类效果。
其他文献
科技的革新与提高、移动智能终端的快速升级以及定位技术的不断完善,使得LBS得到了迅猛发展,用户终端在享受便利的同时也面临着隐私泄露的风险。为满足车辆的高速移动、系统的储存负担等性能要求,提出一种符合兼容车联网环境的基于LBS的车联网隐私保护算法性能评价指标和可调节的评估策略。为解决现有车联网环境下位置隐私保护算法缺少一种具有普遍适用性性能评估方法的问题,满足隐私保护度和位置服务质量之间的自适应平衡
世界四大粮食中,马铃薯被专家称为可以拯救人类的粮食。其分布区域十分广泛,但目前在马铃薯的智能分选方面仍处于研究阶段,大部分地区依旧利用人工分选手段。在生产过程中,马铃薯品质会严重影响马铃薯深加工产业的实际效益,而对马铃薯进行品质分级,是进行工业化生产的重要前提之一。现有的机械分级方式大都容易对马铃薯的表面造成二次伤害,针对现有情况,开发出一种无损于马铃薯品质的快速分级方法,对目前来说尤为重要。本文
随着云存储与互联网技术的飞速发展,多媒体数据传输及保存不再成为限制语音交流广泛使用的瓶颈。然而,云端作为不可信的第三方平台,极易受到隐私泄露的威胁。如何保证用户在数据安全得到保证的前提下,如何从海量的语音数据中高效地实现密文语音检索,受到众多学者的广泛关注。论文主要利用混沌系统理论、能量规整谱系数(PNCC)、语音感知哈希、Mobile Nets V3模型等技术,对密文语音检索系统所涉及的语音加密
随着现代机械加工技术的不断进步,机械行业不再满足于单纯的“能加工”,而是要求高精度、高效率的加工过程,加工方式也逐步向着自动化、智能化方向迈进。铣削加工是重要的机械加工手段,加工过程中,铣削工艺系统的动刚度与切削颤振密切相关,对加工精度和工件表面质量有着重要影响。目前国内外学者通过有限元仿真和解析计算在一定程度上均得以实现动刚度的获取,然而在有限元建模时,所建模型难免与实际工况有所出入,而解析计算
随着移动技术的发展以及网民数量的增长,互联网中的信息与日俱增,文本数据是这些信息最主要的表现形式之一。从海量文本数据中提取和使用有价值的主观信息是如今自然语言处理领域中非常受欢迎的研究课题。其中,对文本中隐含的主观情感倾向性进行分析研究,可以为用户推荐、舆情分析等领域提供有益的指导。现有的文本情感分析方法尽管取得了一定的成绩,但仍存在一些缺陷:依靠情感词典判断情感极性,其准确性过于依赖词典质量的好
计算机视觉领域的一个重要分支是目标检测,在以智能监控和无人驾驶为代表的人工智能新兴应用领域中,对目标检测任务的要求是实现现实图像中各类物体的边界提取、分类以及识别等。随着卷积神经网络的快速发展,基于深度学习的目标检测研究成为一种实现检测高精度和高准确率的重要手段。目前常见的目标检测算法通常需要像素级的标注信息来训练网络模型,但像素级标注信息的获取是劳动密集型的且容易受条件的限制使目标特征淹没在噪声
数据维度相关性分析一直以来是数据分析领域的研究重点,随着大数据在当今社会各个应用方面的快速发展,数据信息量出现了指数式增长,数据维度也越来越高,维数灾难成为了亟需解决的问题。数据可视化将数据用图形化的方式进行直观的展现,可以很好的帮助用户进行数据分析,并通过图形描述可以直观判断几个数据维度间存在何种相关关系。但是传统的可视化方法难以解决维数灾难的问题。一些数据挖掘方法虽然可行,但是难以把过程具象化
车联网作为智能交通系统的重要基础,通过建立车辆和基础设施之间的网络,实现信息的收集和分发。然而,由于无线通信及车联网自身的特征,使其面临一些安全威胁,如消息可靠性,隐私泄露等问题。若不加以防护和管理,将带来严重后果,因此,对车联网安全机制进行研究具有十分重要的意义。近年来,区块链广泛应用于智能合约、智能运输、供应链、数据管理、信任评估等多个领域,其快速发展为车联网安全领域提供了新的方向。本文在借鉴
近年来,随着社会发展与科技进步,2D图像物体检测在许多方面取得了很大进展。然而,在自动驾驶或增强现实(AR)的许多应用中除了获得2D边界框之外,还需要3D理解。目前随着在移动设备和自动驾驶车辆上3D传感器的普及,许多3D数据被获取和处理。因此,对于3D的理解也就变得格外重要。本文主要研究三维物体检测,它是对物体类别进行分类,并估算物理对象的三维边界框。目前3D物体检测常见的其中一种方法是基于二维驱
近年来,伴随大数据相关技术的不断发展与成熟,与之相关的应用也渗透到不同的领域,对于政府部门而言,政务环境、服务方式、治理决策等多个方面都受到了政务大数据的影响,政府部门在信息化建设方面也在加紧步伐迈入新的阶段。政务信息化在急速发展的同时积累了大批的政务数据,覆盖范围广、数据种类多、利用价值高,政务大数据体系已有了良好的根底与基础。现阶段,部分政府部门已建立了独立的政务业务系统,但随着政务服务与信息