基于深度度量学习的图像检索及零样本目标检测研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:fairboy2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度度量学习以特征抽取和特征相似度学习为基础,其目的是在高维特征空间下实现类别之间的聚类和区分能力,即相同类别的样本特征之间的间距小而不同类别样本之间的间距大。相较于传统的图像分类问题,深度度量学习对于特征的泛化性要求更高。对于模型训练阶段没有见过的类别,在特征空间内也要具备一定的区分能力。而以度量学习为基础的零样本目标识别任务,是通过预估未知类别的视觉特征信息并结合大量的类别语义信息实现的,可以较好地拓展到零样本目标检测任务。以深度度量学习为基础的图像检索因其在人脸识别,人脸验证,商品识别,行人重识别等多个领域的实际应用价值而受到广泛关注。本文主要在基于深度度量学习的模型训练以及特征后处理两个阶段中探索如何提高图像检索的性能。在模型搭建及训练阶段,关注于网络结构以及损失函数设计两部分。在网络结构设计部分,设计了以空间注意力模块,通道注意力模块等多种注意力模块和批归一化模块为基础的网络结构,验证了不同注意力机制在度量学习网络结构设计中的作用。在损失函数设计部分,设计了考虑到难例挖掘和整体数据分布的损失函数,验证了多种难例挖掘算法在度量学习中的作用。在特征后处理阶段,在特征空间中对特征向量进行特征变换,提出了 L2C特征变换方法,进一步挖掘特征向量中的判别性信息,在粒度偏粗的数据集上获得了一定的性能提升。提出的QE_L特征重排序算法可以在减小噪声数据影响的同时有效地利用相邻特征来进一步提高图像检索的性能。为了可以直观地可视化不同图像对之间的相似度关系,提出了级联形式的类别激活图和以注意力机制为基础的自监督物体特征关键点检测及匹配方法。同时,以一种简单有效的相似度激活图来直接可视化两幅图像之间的相似度响应。最后,结合类别的语义信息和图像的特征信息,以经典的两阶段目标检测框架为基础,实现未知类别样本的视觉特征估计,从而进一步实现零样本目标检测。实验结果表明所提出的算法在多个数据集上的性能获得了一定的提升。
其他文献
跨模态检索(Cross-Modal Retrieval)旨在为不同模态的多媒体数据(如图像,文本,视频等)提供相互检索的能力。相较于传统的单模态数据检索(如图像检索图像),跨模态检索能够提供
中医是中华文化的重要组成部分,它植根于中华文化的土壤,是中华文化传承的重要载体,它既有自然科学的内涵,也有丰厚的人文哲学底蕴。它汇集了中华文明动静结合的哲学思维、人
IPv6(Internet Protocol version 6)无线传感器网络技术在物联网事业的推动下得到快速的推广和应用,时间同步作为其关键支撑技术,如何在低能耗的情况下保持同步精度一直以来
近年来,随着石油、煤和天然气等主要能源日益紧张,以及人们对环境保护越来越重视,新能源的开发和利用也越来越受到人们的广泛关注。由于新能源发电直接输出的电能是非稳定的
随着国内建设发展,越来越多的地区建立长距离大容量输电线路。但是这会带来输电线路建设与地方用地的矛盾。为节省占地面积,减少电力系统成本,很多地区采取同塔多回架空线路
近年来,随着交通量的增加,双幅变截面钝体箱梁因其良好的行车条件被越来越多的采用。由于间距不大,在来流风作用下双幅变截面钝体箱梁之间存在气动干扰效应,其气动特性与单箱梁相比存在差异。目前双幅变截面钝体箱梁气动干扰的研究文献相对较少,对双箱梁的高宽比、间距比和风攻角等参数研究不多。这些研究成果虽有助于认识双幅变截面钝体箱梁的气动干扰规律,但离实际工程的普遍应用尚有一定的距离。鉴于此,本文针对不同高宽比
在离心设备和电动车辆等领域内,需要高速高效的电机控制系统。作为模型参数和电机损耗的重要组成部分,铁心损耗会在一定程度上影响磁链观测、参数辨识、实时转矩和转速控制精
软体机器人由可承受大应变的柔性材料制成,具有无限多自由度和连续变形能力,可在大范围内任意改变自身形状和尺寸,相较于传统机器人具有更好的环境适应性。然而新型柔性材料
半导体制冷片是一种利用半导体材料的热电耦合效应实现制冷效果的新型制冷设备。半导体制冷片主要有陶瓷板、导流片、(P型和N型)半导体颗粒和导线组成,其中若干对(P型和N型)
伴随着我国国民经济发展的快速增长,人民生活水平的提高,汽车已成为家家户户的“步行工具”。自改革开放以来,中国汽车行业已经历了二十多年的快速发展,其中衍生出来的供应链金融为越来越多的消费者或供应商所接纳。社会消费行为从传统的现金消费逐步转向信贷消费,这为汽车金融市场打开了一个新的局面。在国家政策的鼓励支持下,中国的汽车金融行业在2004年开始萌芽,目前正在经历一个快速成长的阶段。从零售汽车金融到库存