MSML-BERT模型的层级多标签文本分类方法研究

来源 :计算机工程与应用 | 被引量 : 0次 | 上传用户:zswf031124
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
层级多标签文本分类相比普通的多标签文本分类更具有挑战性,因为文本的多个标签组织成树状的层次结构。当前方法使用相同的模型结构来预测不同层级的标签,忽略了它们之间的差异性和多样性。并且没有充分地建模层级依赖关系,造成各层级标签尤其是下层长尾标签的预测性能差,且会导致标签不一致性问题。为了解决以上问题,将多任务学习架构引入,提出了MSML-BERT模型。该模型将标签结构中每一层的标签分类网络视为一个学习任务,通过任务间知识的共享和传递,提高各层级任务的性能。基于此,设计了多尺度特征抽取模块,用于捕捉不同尺度和粒度的特征以形成不同层级需要的各种知识。进一步,设计了多层级信息传播模块,用于充分建模层级依赖,在不同层级之间传递知识,以帮助下层任务。在该模块中,设计了层次化门控机制,为了过滤不同层级任务之间的知识流动。在RCV1-V2、NYT和WOS数据集上进行了充分的实验,结果显示该模型的总体表现尤其是在下层长尾标签上的表现超过了其他主流模型,并且能维持较低的标签不一致比率。
其他文献
优化设计了电力系统用6.5 kV SiC MOSFET,测得该器件的导通电流为25 A,阻断电压为6 800 V,器件的巴利加优值(BFOM)达到925 MW/cm~2。基于感性负载测试电路测试了器件的高压开关瞬态波形。在此基础上,借助仿真软件构建6.5 kV SiC MOSFET芯片级和器件级仿真模型,通过改变器件元胞结构、阱区掺杂浓度、栅极电阻、寄生电感等参数,研究了6.5 kV SiC MO
小儿反复呼吸道感染是儿科临床常见病及多发病,严重影响儿童的生长发育和身心健康。孙丽平教授从小儿体质特点出发,指出气虚质是反复呼吸道感染患儿的常见体质,其本质为元气虚弱,气的功能长期低下导致脏腑气血阴阳失衡,故疾病反复发作。孙教授以五行学说为指导,提出气虚质小儿反复呼吸道感染当从肺脾论治,祛邪以治标,扶正以固本。同时注重"治未病"思想在临床中的应用,通过调节患儿体质,从根本上降低了小儿反复呼吸道感染
本文设计了一种工作于18~40GHz的毫米波下变频组件。该组件实现了18~40GHz的输入信号下变频至3~12GHz。组件采用混合微波集成电路工艺实现,内置有毫米波本振源。测试结果表明该组件具有优秀的指标性能,杂散抑制优于55dBc,线性动态范围大于60dB。本组件集成度高,性能优越,可以广泛的应用于毫米波接收系统中。
知行关系是中国哲学中的重要问题,被称为“千古一等人”的王阳明在前人的基础上创造性地提出了知行合一学说。王阳明的知行合一思想吸取了先秦儒家、佛教以及理学对知行关系的探讨,并在“心即理”的逻辑起点上以“致良知”作为通达知行一体境界的方法论。研究知行合一思想对于当前加强和完善社会主义思想道德建设是大有裨益的,有重大的现实意义。
事业单位职能的充分发挥,能更好地促进社会发展。现阶段,我国事业单位的职能发生了较大变化,越发注重自身的内部控制,预算绩效管理成为亟须优化的重要内容。文章从事业单位预算绩效管理的含义和特点入手,对现阶段事业单位预算绩效管理存在的问题进行分析,并有针对性地提出对策,旨在提升事业单位整体管理工作效率。
本刊讯2021年12月10日,长江禁渔与渔文化论坛在安徽省芜湖市举办。论坛以"落实长江禁渔,保护传承长江渔文化"为主题,通过深入研讨交流,广泛凝聚共识,进一步营造长江大保护良好氛围。农业农村部副部长马有祥出席并作主旨报告。马有祥充分肯定了长江禁渔的阶段性成效,分析研判了禁渔工作中存在的困难问题,强调在长江禁捕过程中,
期刊
作为一套整体方法论,扎根理论正遭遇肢解式和退化式的传播与使用。论文从文献回顾和知识社会学的视角出发,旨在梳理扎根理论传播和应用过程中范式林立、乱象丛生的历史根源与现实本质。研究发现,作为原创者之一的斯特劳斯在方法内核建立过程中的缺席为其后续方法论偏离埋下了历史根源。扎根理论方法的误用,具体表现为质性研究的“深描”嫁接,假设演绎思维的方法渗入,“三级编码”和“NVivo”的技术误导。回归本源,扎根理
在双碳目标(碳达峰、碳中和)全面实施的情况下,国家对资源利用和环境保护提出了更高要求。国有企业必须服从国家绿色发展的大局,带头转变增长方式,把环境效益纳入重要考量之中。本文以国有企业实施绿色采购为重点,对绿色采购的概念和内涵、关键环节、现实意义进行了分析和思考。