基于深度哈希的分层监督跨模态图文检索方法研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:YOLANDA123456789
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网和物联网的迅速发展,产生了海量有价值的多模态数据。如何在海量数据中快速高效地找到与之相关的多模态信息极其重要,这就使得跨模态检索具有了应用场景和研究意义。跨模态检索就是对某一模态的数据进行搜索,返回与检索数据语义相关性最大的其它模态数据。现有跨模态检索算法大多是针对非层次结构监督信息的,没有充分利用层次结构标签中丰富的监督信息,没有很好地将含有相同语义信息的多种模态数据在公共子空间中的距离最小化,没有充分地将不同语义的数据分离开来。针对这些存在的问题,本论文对跨模态图文检索开展了相关的研究,包括如下三个方面:(1)针对当前跨模态检索算法中未能充分最小化含有相同语义信息的多种模态数据在公共空间中的距离,没有充分考虑到层次结构监督信息的层间相关性,不能完全学习到复杂的层间相关信息的问题,本文提出了基于对抗式的分层监督跨模态深度哈希检索算法(Adversarial Hierarchical Supervised Deep Hashing for Cross-modal Retrieval,AHSDH)。该算法基于对抗思想,将特征提取网络作为生成器,模态区分网络作为对抗器,两者进行对抗学习,使含有相同语义的不同模态在公共空间中的距离最近。同时引入标签层内相似性损失和标签层间相关性损失来充分挖掘每一层标签存在的内在相似度和标签层间存在的相关性,从而提高了跨模态检索的准确性。(2)针对基于对抗式的分层监督跨模态深度哈希检索算法(AHSDH)使用词袋模型表示文本模态数据,忽略了文本中语义相关性的问题,本文提出了基于多尺度特征堆叠模型的分层监督跨模态深度哈希检索算法(Multiscale Feature Stacking Model-Based Hierarchical Supervised Deep Hashing for Cross-modal Retrieval,MSFSM-net)。该算法使用不同均值池化层构造的多尺度特征堆叠模型提取文本特征,充分考虑了文本模态的语义相关性。(3)针对不同语义的模态数据对检索干扰的问题,提出基于不同语义区分的分层监督跨模态深度哈希检索算法(Different Semantic Distinctions-Based Hierarchical Supervised Deep Hashing for Cross-modal Retrieval,DSD-net)。该算法为不同语义类别的同一模态和不同模态数据分别设置不同的目标函数,使得具有不同语义类别的模态数据在公共子空间中彼此远离,从而避免了不同语义类别数据对检索的干扰。
其他文献
沥青路面能吸收大量的太阳辐射,热量在导热系数基本相同的三层沥青面层结构中自由传递并积累,导致路面温度升高。随着行车量的增加,路面在行车荷载下产生车辙等病害,影响行车安全,同时高温沥青路面向大气中释放热量也是城市热岛效应不断加剧的原因之一。相变材料通过相变实现对热量的调节。导热材料能够通过传递或阻止热量改变物质的温度。将两者结合应用在沥青路面面层中可从以下四个方面对热量进行调控:(1)减少进入路面内
当前,中小城市面临着严峻的交通问题,交通拥堵、交通污染等问题得不到有效解决,使得中小城市居民得不到优质的出行服务。在这一环境下,出行即服务(Mobility as a Service,MaaS)理念的提出,为解决中小城市交通问题提供了新的思路。MaaS通过整合多种交通方式的出行服务,转变出行者选择交通出行方式的模式,通过科学的需求分析与调度,降低出行者出行过程中的成本浪费,为出行者一次完整的出行链
微加热器是传感器中至关重要的组成部分,为传感元件提供合适的工作温度、保护传感电路以及提高传感灵敏度。随着柔性电子设备的发展,为了实现对生活环境和人体健康的监测,各类传感元件大规模应用于柔性电子设备中。同时,为了满足柔性可穿戴需求,对微加热器加热电路的机械性能和电性能提出了更高的要求。本文提出了一种基于皮秒激光工艺制作的石墨烯基微加热器,并根据实际加热要求改变加热电路的类型和结构,再进行仿真模拟和实
学位
在科技飞速发展的今天,机器人技术占有非常重要的一席之地,自行车机器人又是机器人研究中的热门话题。负载及平衡能力是自行车机构性能优劣的重要特征,传统两轮自行车机器人车轮间轴距使车体的负载及地形适应能力都受到了一定的限制。本文以一种多节拖挂式无人自行车机器人为研究对象,它由双轮自行车挂接单节拖挂车构成,这样的结构设计相较于双轮自行车,有效提高了系统的负载能力。然而,目前大多数自行车机器人平衡运动控制器
学位
再制造技术是以修复技术为手段,针对废旧零部件进行局部表面快速修复,使废旧产品得到再次开发和利用。激光熔覆技术具有热影响区小、覆层结合强度高和精度易控制等优点被广泛应用于再制造产品的修复中。路径规划在激光熔覆机器人修复过程中直接影响零部件的修复质量。如何对激光熔覆机器人进行合理的激光熔覆路径规划,并简单高效生成熔覆修复路径是目前亟待解决的问题。本文基于破损PDC钻头的三维点云数据,对熔覆再制造机器人
随着卫星定位技术的日益成熟,导航定位功能成为一种新型的交通数据获取方式。同时交通出行轨迹信息成为炙手可热的新型交通数据,目前大多数研究学者是根据出行轨迹数据估算道路平均速度、行程时间,并利用这些数据进行交通状态的评估,判断交叉口或路段是否处于拥堵状态,而预测实际交通流量数值的文献研究成果还比较有限。对现代交通管理和控制而言,交通流量是重要的基础参数。本文即是在此角度上,求解交叉口流量流向,进而研究
学位
学位