基于深度学习的草图检索方法研究

来源 :南京财经大学 | 被引量 : 0次 | 上传用户:zzzzkj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于草图的图像检索(Sketch Based Image Retrieval,SBIR)允许将模糊抽象的草图作为输入检索自然图像,相比于严重依赖提供文字描述或者与检索目标相似图像的基于文字图像检索技术和基于内容图像检索技术,手绘草图更直观、更准确地向人类传达丰富的信息,因为“一张图胜过千言万语”。如何减少草图与自然图像之间域差是SBIR研究的关键问题,传统方法提取手工特征完成草图域与图像域之间的近似转换,但该类方法无法拟合两域内容,从而不能有效减少域差。已有的深度学习方法企图通过自然图像向草图,或草图向自然图像的单边域转换以拉近域间距离,但是单边域转换方法存在一定的局限性,仍然无法从根本上减少域差。本文针对上述关键问题,提出了一种基于称为Strokharmon的深度草图检索方法。该方法着眼于实现图像的双边域转换,以大幅缩小自然图像域和草图域之间的域差,提高草图检索精度。主要研究工作如下:1.本文首先对现有的基于深度学习的草图检索方法进行了归纳总结,将已有的基于深度学习的草图检索研究内容划分为粗粒度检索、细粒度检索、深度哈希技术和类别泛化四个主要的研究问题,分别对相关工作进行了综述、评论和比较研究。2.为解决草图检索存在的自然图像域和草图域之间差异过大问题,提出了一种称为笔划同质化(Strokharmon)的草图检索深度学习方法。该方法主要由两个网络构成,一个是为实现双边域转换的笔划同质化生成对抗网络StrokharmonGAN,另一个是用于笔划域的深度特征提取网络模型Strokharmon-Res Net。Strokharmon草图检索方法实现自然图像和草图在同一中间图像域对齐,完成异域数据向同域数据转换,并通过同域特征映射的方法实现草图检索。3.为了验证本文提出的Strokharmon草图检索方法有效性,本文进行了两部分实验验证:(1)验证了本文提出的笔划同质化域转换模型Strokharmon-GAN的有效性,实验结果表明,本文提出的域转换方法优于现有的用于草图的域转换模型;(2)验证了本文提出的Strokharmon草图检索方法的检索性能,在两个具有代表性的公开细粒度SBIR数据集上进行了综合评价。实验结果显示,本文的方法在QUML-Shoe V2和QUML-Chair V1上分别得到了85.6%和96.3%的检索精度,比目前先进的方法分别提高了4.9%和0.4%,获得了更好的检索性能。
其他文献
学位
学位
学位
学位
学位
传染病在传播期间,接触网络的结构起着至关重要的作用.因此,复杂网络已经被广泛地应用在传染病动力学中.此外,传染病传播过程中往往会受环境随机因素的影响,复杂网络上随机传染病模型可以更合理地刻画传染病的传播过程.为此,本文将建立复杂网络上两类随机传染病模型,并分析其动力学行为.第一章,主要介绍了传染病模型的国内外研究动态.介绍了几类常用的传染病模型,并说明建立复杂网络上随机传染病模型的合理性.最后,给
榆社霸王鞭是发源自榆社地区的一种传统的民俗体育活动,至今已有上千年的历史,具有典型的当地特色,但随着经济的发展和人们生活水平的提高,特别是全球化下西方体育文化的冲击,我国传统的民俗体育文化的生存空间不断被挤压,逐渐消失在大众的视野当中,部分非物质文化遗产甚至面临失传。霸王鞭作为一种地方性的非物质文化遗产,2006年入选了山西省的非物质文化遗产名录,它的发展应该被更多地关注。为了使非物质文化遗产榆社
篮球是技能主导类同场竞技性项目,但技术能力的发挥必须以较高的专项体能作支撑。篮球运动员体能水平的高低影响着一定时间内和高强度对抗下完成技术动作的质量,影响着个人形体和完成技术动作、团队配合的观赏性。本研究通过对太原市具有一定代表性的太原市第四十八中学校高中篮球运动队作为实验研究对象,通过对运动员进行篮球专项体能训练并进行长期的体能监控,对训练前后两次比赛的技术及发挥的数据进行分析研究。本研究通过文
随着物联网技术的迅速发展,物联网服务已经扩展到了各式各样的行业中,企业越来越重视物联网技术在工程实践中的作用。某地铁公司近年来也在推进基于物联网技术的工具自动化管理工作,以智能化、信息化的手段来改变当前维修工具人工清点的弊端,提升现场安全性的同时降低人力成本。工具监督管理系统在前期主要采用C/S架构(即Client/Server,客户端/服务器)体系,虽然用户交互界面丰富、响应速度快,但是由于互联
民族是一个国家的灵魂和血脉,一个民族的繁衍生息须依靠婚姻,因此与婚姻有关的秩序在各个民族中也有其特有的规定。贵州省黔东南苗族侗族自治州(以下简称为“黔东南”)是苗族人口最为聚集的地区,苗族人民在这片土地上繁衍生息,为开发黔东南做出重要贡献。在地域相对封闭的苗族社会,婚姻的缔结不仅可以繁衍种族、哺育后代,还能够寻求到一种安全稳定的生活,达成经济协作,形成共享的机制,更能为当地社会的发展提供必要保障。