基于场景图感知的跨模态图像描述模型

来源 :计算机应用 | 被引量 : 0次 | 上传用户:abcoabco1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对图像描述方法中对图像文本信息的遗忘及利用不充分问题,提出了基于场景图感知的跨模态交互网络(SGCNet)。首先,使用场景图作为图像的视觉特征并使用图卷积网络(GCN)进行特征融合使图像的视觉特征和文本特征位于同一特征空间;然后,对模型生成的文本序列进行保存并添加对应的位置信息作为图像的文本特征,解决单层长短期记忆(LSTM)网络导致的文本特征丢失的问题;最后,使用自注意力机制从中提取出重要的图像和文本信息后再进行融合,解决对图像信息过分依赖,对文本信息利用不足的问题。在Flickr30K和MS-COCO数据集上进行实验,与Sub-GC相比,SGC-Net在BLEU1(BiLingual Evaluation Understudy with 1-gram)、BLEU4(BiLingual Evaluation Understudy with 4-grams)、METEOR(Metric for Evaluation of Translation with Explicit ORdering)、ROUGE(Recall-Oriented Understudy for Gisting Evaluation)和SPICE(Semantic Propositional Image Caption Evaluation)指标上分别提升了0.3、0.1、0.3、0.5和0.6个百分点。实验结果表明,SGC-Net所使用的方法能够有效提升模型的图像描述性能及生成描述的流畅度。
其他文献
晶体形貌对α-半水石膏的性能产生较大影响,因此制备晶体形貌良好的α-半水石膏在工业中非常重要。本试验采用常压盐溶液与醇溶液相结合的方法,以磷石膏为原料制备α-半水石膏,研究了不同转晶剂对α-半水石膏晶体形貌及其水化硬化强度的影响。结果表明:相对于盐类,有机酸类转晶剂对α-半水石膏晶体形貌的调控效果较好,其中马来酸调控作用最好。马来酸浓度从0%增加到0.2%时,α-半水石膏的长径比从10.4降到2.
<正>俗话说"没有谚语话难说,没有盐味茶难喝。"俗谚是民间流传的,有较固定句型的,通俗浅显的格言式短语。它以贴近群众、简洁凝炼、富于哲理、形象生动而为人们所喜爱。在写作中,适当运用俗谚,对增强文章的表现力、吸引力和感染力非常有帮助。领袖们往往都是语言大家,他们极善汲取群众智慧,用这些民间老话来讲他们的思想,
期刊
文中对于在材料填充过程中采用的激光-MAG复合焊,提出电弧能量双椭球体热源和激光能量锥体热源结合的组合热源模型,计算过程考虑了温度对材料相变及热物理特性的影响,采用“生死单元”技术,实现了模拟过程中焊接材料的逐步填充,同时将模拟结果与试验结果进行比较,两者表现出较好的一致性。所建立的组合热源充分考虑了激光-MAG复合焊的工艺特点,使焊缝形状和尺寸的数值模拟精度有了较大提高。
<正>个人从事文字工作多年,在实践中摸索总结出了"四四二"文字工作法则,即花40%的时间多看、广积累,花40%的时间多思、勤总结,花20%的时间多写、善实践,做到合理分配精力、稳步提升能力。笔者认为,"四四二"法则类似于我们学生时代的读书学习。第一步,"多看广积累",就如同是把薄薄的一本教材读"厚",全面掌握教材中每个知识点的内涵外延、应用题型、出题角度等。第二步,"多思勤总结",就如同把教材读
期刊
在社会分工发达和商品全球流通的现代化进程中,由实际占有商品的第三人向买家交货的商业实践具有普遍性,而买家据以要求交货的权利却有不同的载体。国际贸易实践形成了以提单为主的货物流转体系,但没有排除当事人可以协商通过交付彼此约定的单证完成交货。当事人交付提单、仓单等法定交货单证藉由法律拟制完成现实交付之余,也可以通过交付约定单证完成指示交付。不同法系不同规则的表达方式存在差异,但法律规则内生于商业实践,
<正> 柴朴汤治疗支气管哮喘的效果与有效成分:治疗对象为14例类固醇依赖性、难治性支气管哮喘患者(男8例,女6例),其中特异反应型9例,非特异反应型5例。投予柴朴汤7.5g/d,于投药前后52周进行了比较探讨。结果,14例中8例(57.1%)哮喘分数及临床症状轻度以上改善;6例(42.9%)类固醇剂减量,但未见恢复垂体—肾上腺系统机能的作用。临床综合效果评价:有效4例,
期刊
在新世纪网络信息时代,网络安全已经成为全世界共同关注的一个重大问题,到如今,网络安全更是上升到了国家战略高度。计算机网络无论是在人们的日常生活还是工作当中,都有着无法被取代的地位,随着5G时代的到来,网络在国家发挥的作用更是被进一步提升。然而,网络在改善人们的生活和工作的同时,也带来了极大的安全隐患。随着现代网络技术的飞速发展,计算机病毒的形式更是层出不穷,从以前简单的邮件病毒发展到目前的移动病毒
本文研究了在高海拔地区RPC120-RC-GB/T 31387等级混凝土的配合比设计方案,同时结合当地实际情况,放弃使用特殊级配石英砂,改用当地的河砂配制RPC120-RC-GB/T 31387等级混凝土,并检测其力学和耐久性能。在实际工程应用过程中发现,在高原低气压地区,混凝土的气-液界面结构明显异于常压地区,通过调整外加剂和配合比妥善的解决了该问题。试验和现场的实践证明,使用当地的河砂也可以在
纵观《民法典》的规定不难发现登记都是对于物权的效力产生影响的因素,对于债权,由于其是相对权,法律并没有对其规定公示方法,因此《民法典》第768条规定显得有些奇怪,本文对保理合同的效力进行分析,得出登记产生对抗效力,而且只在特等情况下此种登记才有适用余地,且这种登记只对保理人产生影响,要是想保理合同对债务人产生效力必须要把保理合同中应收账款债权让与相关内容通知债务人的结论。
在当前大国竞争与博弈的背景下,美国针对中俄周边不断布局小国“棋子”,在最大限度降低大国直接对抗可能性的同时,局部冲突的发生概率越来越大,也导致现代战争的对抗形式、形貌形态和作战模式错综复杂。本文梳理总结了在近期的俄乌冲突中双方无人机作战运用基本情况,分析了无人机作战主要特点,并就加强无人机数据链建设,重视有人/无人协同运用,创新战术战法和重视反无人机战略提出建议,为我军在未来主要威胁方向的可能冲突