基于BERT的民间文学文本预训练模型

来源 :计算机技术与发展 | 被引量 : 0次 | 上传用户:xiao203
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
民间文学文本中含有大量生动形象的修辞手法;人名、地名极其复杂,难以判断词与词之间的边界;与现代汉语表达差别较大,预训练语言模型难以有效地学习其隐含知识,为机器自然语言理解带来困难。该文提出一种基于BERT的民间文学文本预训练模型MythBERT,使用民间文学语料库预训练,将BERT的字隐蔽策略改进为对中文词语隐蔽策略。对民间文学文本中解释字、词的注释词语重点隐蔽,减小BERT隐蔽的随机性并有利于学习词语语义信息。同时利用注释增强语言模型表示,解决一词多义、古今异义等问题。将MythBERT与BERT、BERT-WWM和RoBERTa等主流中文预训练模型在情感分析、语义相似度、命名实体识别和问答四个自然语言处理任务上进行比较。实验结果表明,注释增强的民间文学预训练模型MythBERT在民间文学文本任务上性能显著提升,与基线方法相比取得了最优的效果。
其他文献
目前有很多自闭症儿童进入普通学校进行融合教育,普通教师应该如何帮助自闭症学生成功实现班级融合成为亟待解决的问题。结合对自闭症儿童的个案研究,通过对其具体情况的了解分析,结合家长需求,通过发挥教师与同伴的支持作用、挖掘课程体系与其潜能的交点、因势利导进行行为干预等支持策略,在融合班中调动各方面资源,能帮助自闭症学生快乐成长。
如今,新课标不断深入小学数学课堂,改变了教学的传统结构,为教育工作者指明了未来发展方向。小学数学教师应深入探析新课标核心,立足于课堂实际,根据学生学习能力制订有针对性的教学计划。另外,新课标对小学数学教学提出了四点要求,即突出学生主体地位、营造轻松愉快的课堂氛围、注重合作探究方式的学习,适当进行创新。基于此,本文将重点阐述新课标背景下小学数学教学方法的转变,从不同角度展开分析,提高教学质量的同时培
<正>安全是猪场第一绩效指标,是猪场的生命线。本文梳理了猪场的生产安全风险及防范措施,希望引起从业人员的高度重视。生产安全是指生产过程的各种事故风险和伤害因素处于有效控制状态,保障从业人员的人身安全与健康、财产免受损失和环境免遭破坏。猪场生产安全的风险无时不在,如化粪池管道堵塞处理不当导致人员沼气中毒身亡,电线老化引发火灾导致猪舍被烧毁和猪只被烧死,消毒操作不当导致烧碱灼伤人员,
期刊
随着新课改进程的不断推进,课堂教学更强调师生之间互动关系的营造,以此来实现学生学习兴趣的提升。情境教学法是小学语文古诗词教学的重要方法,能够将学生带入具有情感色彩的情境中,促使其对古诗词产生新的学习体验,实现教学效果的提升。古诗词作为我国的文化底蕴,对学生文化素养的提升有着积极作用,但对小学生而言存在一定的学习困难。运用情境教学法强化古诗词教学,能够深化学生对生涩字词的理解,促使其在情境中感受诗词
目的:探讨5S管理法结合PDCA循环管理在药库综合管理中的应用效果。方法:首先,通过设计、发放、收回药库质量管理问卷取得药库相关工作人员对药库流程及环境的建议;其次,通过药库相关工作人员提出的建议进行5S管理法的简化与PDCA循环管理的修改、定义及实施;最后,通过认可度调查问卷进一步分析综合管理法获益及不足,通过对比实施前6个月与实施后6个月的问卷,继续优化管理流程。结果:一级药品的管理主要涉及门
随着融媒体时代的到来,在移动新闻竞争愈发激烈的时代背景下,各个媒体需要坚持自身的特色,贴合用户需求,从而获得更好的发展。短视频作为当下大众追捧的热点,新闻短视频成为各大媒体创造品牌的重要路径之一,其主要是以短视频的方式进行新闻报道,并且具有短小精悍的优点,符合现代人们对于新闻报道的要求。但是由于目前新闻短视频发展时间短,其质量良莠不齐,这会影响新闻短视频的可持续发展。因此文章主要针对主流媒体新闻短
为改善聚丙烯酰胺类乳液减阻剂的溶解性和稳定性,合成了pH刺激响应型表面活性剂的乳化剂,并合成具有pH响应能力的改性聚丙烯酰胺乳液。研究了油水比、乳化剂质量分数对乳液稳定性的影响,使用反相乳液聚合法得到改性聚丙烯酰胺乳液,最佳聚合条件为油水比为0.82、乳化剂质量分数为3%。利用FT-IR及1H NMR对表面活性剂及聚合物的结构进行表征。结果表明,0.5%的改性聚丙烯酰胺乳液在pH小于6或大于8的水
丙烯、乙烯等低碳烯烃属于化工产业重要原料,且随着产业的发展,烯烃需求量不断增加,烯烃分离工艺在此形势下得到长效发展。基于此,文章首先阐述了现阶段常见的煤化工烯烃分离工艺技术,并选取三种典型分离工艺技术进行对比分析,进一步讨论煤化工烯烃分离工艺路线优化办法,旨在明确不同烯烃分离工艺差异,并通过路线条调整优化改进烯烃分离工艺技术。
采用搅拌摩擦加工(FSP)对铸态Fe40Mn20Co20Cr15Si5高熵合金(CS-HEA)进行了微观结构改性,研究了晶粒尺寸和组元相比例对CS-HEA疲劳行为的影响。结果表明, FSP后的CS-HEA晶粒尺寸由128μm细化到4.2μm, FCC相比例由60%增加到75%。细化的晶粒和高比例的FCC相不仅提高了拉伸性能,并且将CS-HEA的疲劳极限由260MPa提高到520MPa。疲劳极限提高
本文重点基于电商直播团队与电商卖家的博弈,分别构建电商直播团队主导、电商卖家主导和二者市场能力对等三种不同市场能力结构的供应链决策模型,解析直播电商供应链主体的最优利润、最优运营决策、消费者总效用、市场需求以及社会福利,探讨电商直播团队在电商平台营销过程中的供应链决策问题。研究结果表明:在三种不同市场能力结构下,直播电商供应链各个主体的利润与电商直播成本效率呈正相关关系,社会福利和消费者总效用在直