基于BERT模型的文本情感分析

来源 :太原理工大学 | 被引量 : 0次 | 上传用户:snwyshenwei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本情感分析是一种对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程,是自然语言处理领域中最重要的研究方向之一。通过对海量的互联网平台信息进行情感倾向分析,研究人员可以高效且直观地理解平台用户对于社会新闻,政治事务和产品走势等事件的态度,从而进行舆论监督和改进商业策略等工作。传统的文本情感分析方法有赖于人工特征提取的质量和外部工具,导致情感分类精度较低。近年来,随着深度学习技术的不断发展,其中Transformer的双向编码表示模型即BERT(Bidirectional Encoder Representation from Transformers,BERT)构建的情感分析方法因其独特的预处理机制和优秀的情感分类效果在自然语言处理领域得到了广泛的应用。目前,文本情感分析任务按照建模粒度划分为句子级情感分析任务和方面级情感分析任务两种。本文基于句子级别和方面级别两个维度针对BERT模型进行深入研究,并解决以下两个问题:一是如何将基础BERT模型进行优化并提高其句子级情感分类的精度,并将其运用于中文语料环境下的数据集中;二是如何建立深度学习网络模型并实现从数据资源丰富的句子级数据库中深层迁移到数据资源匮乏的方面级情感分析任务中,并提高方面级情感分析任务的分类精度。主要研究工作如下:(1)针对BERT模型进行改进,通过对其核心方法即遮蔽语言模型方法(Masked Language Model,MLM)和下一句预测方法(Next Sentence Prediction,NSP)添加三个策略使得模型效率得到提升的同时,优化模型的情感分类性能。其中策略1和策略2分别针对遮蔽文本中的具体数字和具体地名、人名或事件名等命名实体添加[NUM]标识和[NER]标识,通过结合Bi LSTM-CRF方法识别命名实体的标识,避免模型进行无意义遮蔽的词汇预测。策略3通过对NSP方法进行规则重置,优化句子级预测顺序。将改进的BERT模型在中文语料数据集上进行训练和测试,通过与基准模型的实验结果对比,引入策略1和策略2的方法使得改进BERT模型相较于原模型的准确率提升0.52%,引入策略3使得准确率提升了0.91%,证实了本文所提三种策略方法的可行性和有效性。(2)针对方面级情感分析领域由于人工标注困难导致构建的数据集普遍较少的问题,在改进BERT模型的基础上,结合迁移学习和注意力机制构建基于深层次迁移学习的短文本情感分析网络模型,提高模型分类效果。该模型的主体结构包括应用改进BERT模型进行文本预处理的文本嵌入层、结合注意力机制的迁移学习编码层以及情感分类的输出网络层。首先,将构建的模型在短文本句子级别的情感分析数据集上进行预训练。然后,将预训练后的模型在数据量较小的方面级情感分析任务数据集上进行训练,再通过迁移学习编码层将句子领域内短文本级别的情感信息迁移到基于方面级的情感分析任务中。最后,通过结合注意力机制加强模型提取方面级情感特征的能力,提高模型的分类精度。实验结果表明模型分别在笔记本电脑评论,推特评论和餐馆评论三个领域的数据集中,相较于最优基准模型准确率分别提升了1.59%,1.66%和2.34%。
其他文献
根植于我国东北地区朝鲜族聚居地的文化现状,分析该地域内朝鲜族传统民居的典型特征与装饰因素。并通过对朝鲜族的居住文化和内部装饰两个部分详尽解读东北地区朝鲜族民居的少数民族特色,阐明朝鲜族的独特住居文化在东北地区民居文化中所处的重要地位,进而为探索朝鲜族传统文化与现代室内设计互融的新模式提出未来发展设想,以期为未来如何将传统与创新有机融合做出基础性铺垫。
以空间中的光影状态为研究的主体,分析在不同的光影环境下人们的具体心理感受有何异同,探索不同的光影形式对于空间营造的影响,以及形成了哪些不一样的视觉表现。通过这种不同视觉表现的传达,帮助人们更好地把自然光影应用到空间营造中去。
本文介绍适用于大功率发射机、大功率微波源等设备作为功率指示用的弱耦合定向耦合器——小孔耦合器的机理,并从场方程出发,结合边界条件,按静态场唯一性定理解得出小孔耦合的作用可等效为一个电流源和一个磁流源的结论。然后,利用传输方程,求出模式电压,从而得到小孔散射参数,以及小孔耦合器的工程计算方法。最后,说明在大功率弱耦合定向耦合器设计中需注意的一些问题。
会议
文章以“煤的综合利用苯”的教学为例,基于“四线式”教学模式,运用化学史料引出教学模块,引导学生通过借鉴历史、设计问题、实验探究,自主构建新的知识体系,最后联系实际,学以致用,将STSE教育思想融入高中化学课堂教学中。
为探究冻融循环影响下不同岩性岩石的物理力学性质的差异化响应,对青砂岩、灰砂岩2种砂岩,白色大理岩、麻粒岩2种变质岩开展冻融循环试验和相关力学试验。研究结果表明:在冻融循环过程中,2种砂岩的质量变化幅度明显高于2种变质岩。相较于青砂岩与麻粒岩,大理岩的单轴压缩强度及弹性模量劣化速率最快。冻融前后青砂岩、大理岩的单轴压缩破坏模式发生明显变化。灰砂岩抗拉强度劣化速率显著低于青砂岩。基于单轴抗压强度、抗拉
本文以绘画与器乐为例,对中国传统艺术留白的民族性、留白与感官的自主调动与共鸣、中国传统艺术留白的方法等进行了较为深入的探讨。中国传统艺术留白民族性概括为性情论、宗教论、空间论。以名画与古典音乐出发,论述了留白与感官的自主调动与共鸣的关系。提出绘画与音乐留白的相同之处就在于边界的余韵处理等观点。
<正>湖南省宁乡市司法局积极发挥依法治市统筹职能和"三调联动"牵头作用,创新工作机制,充实行政调解队伍,夯实行政调解平台,强化行政争议实质化解考核,充分发挥各部门单位、乡镇(街道)的主观能动性,多措并举推动行政争议实质性化解。2019年,市政府审结行政复议案件21件,其中通过行政调解,当事人撤回申请的有11件,占52.4%;办结争议较大、影响较广的行政诉讼案件11件,其中通过行政调解,当事人撤回诉
期刊
本文分析了在高中化学实验教学当中坚持生本教育理念的重要性,探究了基于生本理念,创新高中化学实验教学的有效方法,主要包括善于利用生活元素、创设探究的情境,运用多媒体、更直观地了解注意事项,重视学生的研究体验、创新演示实验,加强小组合作的运用、提高学生的化学素养,立足化学教材,合理改进和创新实验,开展多元化的教学评价,提高学生的实验能力。
"协调结案"是行政复议中广泛存在的一种现象,呈现出类型相对集中、程序随意性强、方式灵活多样、制约因素多元等特征。"协调结案"之所以大行其道,是由于其可以实现行政复议决定无法实现的"多赢"办案效果。具体而言源于:复议机关基于多重因素的综合考虑、被申请人基于压力驱动的无奈选择、申请人基于利益诉求的理性权衡。但无原则、逾底线、超范围的"协调结案",突破法律优越原则、损害社会公共利益、削弱依法行政意识、消
目的 观察专案突破护理在缺血性脑卒中偏瘫肢体康复中的应用效果。方法 将2019年3月至2020年6月该院收治的缺血性脑卒中偏瘫患者45例设为对照组,将2020年7月至2021年10月于该院收治的缺血性脑卒中偏瘫患者45例设为试验组。对照组按缺血性脑卒中常规康复模式施护,试验组针对康复锻炼依从性问题行专案突破护理干预,比较两组肢体功能康复锻炼依从性及干预前后日常生活活动能力。结果 试验组肢体功能康复