基于图卷积的图像文本描述算法研究

来源 :西安理工大学 | 被引量 : 0次 | 上传用户:simetl12
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习技术的发展,图像文本描述作为跨模态数据领域中的典型任务具有了广泛的应用,成为当下计算机视觉领域的热门研究方向之一。基于编码器-解码器的网络结构是目前主流的图像文本描述方法,编码部分利用图卷积神经网络学习场景图特征并且使用Bottom-Up特征代替整幅图像特征用于建立图像与文本之间的映射关系,而这样复杂多样的特征和特征学习方法带来多样信息的同时也使得图像和文本间的信息对应困难。故本文基于图卷积对图像文本描述进行研究,通过将多种特征的融合,以及获取与描述语句特征的潜在关联,提升图像文本描述模型的性能。针对场景图中冗余信息的引入以及Bottom-Up候选区域图像特征与描述语句准确对应的问题,本文根据图卷积学习场景图特征的方法,改变场景图学习时物体间的特征权重,区分不同物体在文本描述时的不同重要性;在此基础上,对Bottom-Up候选区域图像特征进行增强,将重要程度不同的候选区域图像特征输入Top-Down LSTM解码器中,使得与文本描述的每个单词相对应,即增强了图像中主要物体的特征。实验结果表明,增强主要物体特征能有效提升模型的性能。为了生成的语句中对主要物体的描述更加细致,本文提出了结合显著性目标特征的特征融合方法。首先利用PoolNet显著性目标检测网络提取显著性目标区域;然后使用ResNet-101网络提取显著性目标特征;最后为了学习图像特征与显著性目标特征彼此之间的互补关系,将两种特征进行有效融合。结合显著性目标特征的特征融合方法更加全面的利用了多种信息,有效的结合了不同特征的优势,从而丰富了主要物体的描述细节。本文在标准测试数据集上的分解实验和对比实验验证了本文算法的有效性,实验结果表明,本文算法在主要物体和物体间关系的把握上以及丰富主要物体描述细节上有明显的作用效果,提升了模型的性能。
其他文献
众所周知,信息以明文形式传输时极易遭受不法分子的窃取、篡改。作为常见的信息载体,图像加密成为信息安全领域的一个重要分支。相比于传统成像,单像素成像技术在噪声、弱光条件下具有很大优势。傅里叶单像素成像作为一种典型的单像素成像技术,可以高质量地成像。然而,较长的测量时间和较多的测量数量依然是单像素成像应用中的劣势。针对以上问题,本文结合傅里叶单像素成像技术、光学处理技术和逻辑映射提出了图像认证和图像加
随着深度学习的迅猛发展,多媒体设备的传输质量越来越高。但是大量视频在采集、传输和保存的过程中依然存在许多问题,导致最终的视频质量较差,需要采用视频超分辨率重建算法来获得更加清晰的内容。在目前的相关研究中,基于深度学习的视频超分辨率重建算法已成为该领域的主流研究方法,该项技术在智能安防、视频修复和医疗影像等领域已被广泛应用。本文选取端到端的视频超分辨率重建网络来进行相关研究。相比于单幅图像的超分辨率
学位
以一艘16 000箱集装箱船为对象,基于Fluent软件建立计算模型,对船体水线以上结构表面风场风压进行数值模拟,得到风载荷系数,并与规范方法和Isherwood方法进行比较分析。结果表明:随着风向角变化,结构表面风载系数变化较大,CFD数值模拟结果略小于规范计算,而Isherwood方法同样具有相当的精度。文中的方法可根据实际海况条件获得最不利的风倾力矩,可应用于船舶稳性设计和校核。
石油作为现代工业生产的重要原料,是国家重要的战略物资。石油现场由于存在大量压力容器、阀组和管道等装备,具有高温、高压、易燃易爆的特点,一旦发生安全事故后果难以估计。因此,保证安全生产是每一个采油单位工作内容的重中之重。巡检作为最主要的安全保障措施,目前以人工巡检方式为主,该方式劳动强度大、工作效率低、常有漏检、误检等情况发生。为保证高效、可靠的巡检,国内外各大油田生产单位大力发展以机器人为主体的智
现实世界的绝大多数信号为随时间连续变化的模拟信号,但另一方面随着数字集成电路的飞速发展,数字信号极大提高了人类处理数据的能力,而模数转换器(ADC)则主要是将现实世界的模拟信号转换为能被系统快速处理的数字信号,因此其重要性不言而喻。ADC一直是通信系统的关键模块,尤其在第五代移动通信(5G)中要求ADC具有更高精度、更快速度以及更低功耗。流水线ADC可以通过合理分配各子级精度以达到精度、速度与功耗
TiC和TiB2颗粒具有高熔点、高硬度、高导电率、低密度及良好的化学稳定性等优良性能。在Cu基体中加入TiC、TiB2增强相,既能保持Cu基体良好的导热导电性能,又能提高材料的硬度和耐磨性,能较好地解决硬度和导电率之间的矛盾。因此,本文采用机械合金化工艺与热压烧结工艺制备了不同TiB2、TiC含量的(TiB2-TiC)/Cu复合材料,系统分析了机械球磨制粉、氮气气氛保护下热压烧结及不同机械制粉过程
车联网中涉及到车辆、行人和道路的安全服务,例如交通事故、路况信息等信息的传播,迫切需要保证交通信息的安全性和完整性。但是网络中存在的一些恶意节点可能破坏车辆之间的正常通信,对交通网络的安全造成严重威胁,本文主要针对车联网中的Sybil攻击和虚假消息攻击进行研究。针对车联网中的Sybil攻击,首先提出了一种基于时戳链的Sybil攻击检测方法,车辆经过路边单元(Road Side Unit,RSU)时
近似模型技术是构建复杂优化问题所需模型的一种方法,能有效解决优化模型构建困难的问题,其所需样本点数量少,能大大减少计算成本、提高计算效率;但面对日益复杂的实际优化问题,近似模型技术的预测精度和计算效率不足以满足实际工程需要,本文研究了一种基于径向基的组合近似模型技术,并将其应用于实际优化设计问题中,为解决类似问题提供一种新的思路。本文主要工作如下:(1)为了构建高精度近似模型,利用测试函数和精度评
高硅钼球铁具有较高的热强性和良好的抗热疲劳性能,广泛应用于汽车发动机排气歧管和涡轮增压器壳体的制造。但因该类球铁中Si、Mo元素含量较高,材质的球化率、球墨尺寸和分布以及晶间碳化物不易控制,在一定程度上降低了合金的高温力学性能。因此,在生产条件下,采取有效措施提高合金的球化率和铁素体数量、细化石墨球并最大限度地减少晶界碳化物数量,对提升我国汽车发动机制造业水平具有积极的推动作用。本文旨在通过改变球