融合知识图谱和多模态的文本分类研究

来源 :计算机工程与应用 | 被引量 : 0次 | 上传用户:songtiger2222
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统文本分类方法主要是基于单模态数据所驱动的经验主义统计学习方法,缺乏对数据的理解能力,鲁棒性较差,单个模态的模型输入也难以有效分析互联网中越来越丰富的多模态化数据。针对此问题提出两种提高分类能力的方法:引入多模态信息到模型输入,旨在弥补单模态信息的局限性;引入知识图谱实体信息到模型输入,旨在丰富文本的语义信息,提高模型的泛化能力。模型使用Bert提取文本特征,改进的ResNet提取图像特征,TransE提取文本实体特征,通过前期融合方式输入到Bert模型中进行分类,在研究多标签分类问题的MM-IMDB数据集上F1值达到66.5%,在情感分析数据集Twitter15&17上ACC值达到71.1%,结果均优于其他模型。实验表明,引入多模态信息和实体信息能够提高模型的文本分类能力。
其他文献
新的时代背景下,我国各类企业面临的挑战越发严峻。人员流动对企业的影响是巨大的。新生代员工作为知识的载体是企业中最活跃、最具创新力的因素,如何留住这些新生代员工,降低人员的离职率是企业亟待解决的问题。而企业文化作为企业独特的软实力标志,对员工的工作状态、感受以及离职倾向都会产生潜移默化的影响。因此,以企业文化为切入点,将研究对象聚焦于新生代员工,探析现有的企业文化与离职倾向的关系,并为企业减少新生代
为探究广西地区不同观测期生态沟对农业面源氮磷的削减效果,明确关键削减时段,根据2019年5月—2021年4月研究区实测资料,分析研究区干季、雨季、春季、夏季、秋季和冬季不同观测期氮磷浓度变化、氮素组成及削减效果。结果表明:整个监测期,研究区氨氮、硝态氮、总氮、总磷的平均浓度分别在5.62~19.84、2.38~4.00、15.30~28.18、0.50~1.26mg/L之间;生态沟沿程监测点氨氮、
目的观察加味葛根芩连汤辅助治疗小儿泄泻湿热内蕴型的临床疗效。方法选取2016年3月至2018年3月丽水市妇幼保健院儿科治疗的泄泻湿热内蕴型患儿104例,按随机数字表法分为对照组50例和治疗组54例,2组入院后均接受常规对症治疗,在此基础上,对照组予消旋卡多曲治疗,治疗组在对照组治疗方法的基础上予加味葛根芩连汤治疗,2组均连续治疗3 d后统计疗效。结果治疗组总有效率为88.89%,显著高于对照组的6
多模态知识图谱的构建作为多模态知识图谱下游应用的基础,其核心在于为知识图谱中的实体匹配正确合适的图像。已有的多模态知识图谱构建工作将百科图谱以及图像搜索引擎作为其实体候选图像的来源,但往往对图像质量的控制比较粗糙,方法的可扩展性较差,也即适用的实体类别较少,或在中长尾实体上表现较差。为此,该工作提出了一种基于多模态模式迁移的知识图谱实体配图方法,从不同类别的头部实体中抽取对应的语义模板及视觉模式,
液态金属材料在热控与能源、增材制造、生物医疗、柔性智能机器等领域有着特殊的优势。但是,新型液态金属材料的设计却一直是工业界的巨大挑战。这是由于液态金属是长程无序、无晶体、无晶粒的非晶态合金,基于第一性原理或有限元分析的传统材料计算方法难以适用,液态金属材料的设计只能靠无限重复的人工制备实验来进行,设计效率低下。同时又由于液态金属材料的这种非晶态合金特性,使得其材料性能主要取决于材料组份构成,而不是
针对数控装备数据采集效率低、结构不完善、格式不统一的问题,提出了一种基于知识图谱的数控装备信息模型的建模方法。首先确定建模范围并获取数据源,其次对非结构化数据进行信息抽取形成领域元模型,再将元模型与第三方知识进行数据融合形成领域模型,然后对其进行知识加工生成知识图谱,最后通过映射与抽象生成信息模型并实例化生成JSON文件。搭建具有身份认证和访问控制功能的NC-Link客户端和服务器,对信息模型、数
针对当前在线学习容易产生的“学习迷航”“信息过载”等问题,满足大多数在线学习者的需求提出一种通用、可行的在线学习路径自动生成的方法.以多重属性特征为基础设计了知识图谱模式层,结合TextRank算法对爬虫获取到的文本资源构建知识图谱;提取知识图谱中知识点属性与关系,应用拓扑排序算法,设计了通用学习路径自动生成方法.实验结果表明自动生成的通用路径与专家路径的相似度较高,在线学习过程中可取代专家制定的
党的十九届四中全会明确提出“坚决打赢脱贫攻坚战,建立解决相对贫困的长效机制”,这说明2020年绝对贫困消除后,中国进入相对贫困时期,反贫困的重心将转向解决相对贫困问题。本文使用CiteSpace软件,对乡村振兴视域下的相对贫困研究的发文情况、研究热点和演化趋势进行了可视化分析。结果显示:我国乡村振兴视域下的相对贫困研究发文量自2017年开始呈现增长的趋势;这一领域的研究机构主要是以中国人民大学为主
提出了一种结合故障模式和故障影响的穿越钻机设备故障知识图谱构建方法,将不同故障数据源进行整合,采用BiLSTM实体抽取模型和Attention-based BiLSTM关系抽取模型从数据源中抽取知识要素,并进行加工整理导入Neo4j图数据库中。该知识库能实现钻机设备信息、运行维护数据、监测数据以及故障信息等重要数据有效管理与应用,同时能为穿越钻机设备的运行维护提供宝贵的知识和工程经验,为现场的钻机