基于弱监督的社交媒体图像多目标哈希方法研究与检索系统实现

来源 :西北大学 | 被引量 : 0次 | 上传用户:hechangying1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于内容的图像检索作为信息检索领域重要的研究技术之一,可以在海量的图像数据中检索出所需要的数据,在大数据时代背景下具有重要的作用。社交媒体图像检索作为一个重要的应用场景,在长期的发展过程中,主流的方法都将图像使用单个特征进行表示,其内在的缺陷导致检索形式单一、检索效果欠佳。在实际的检索应用中,人工标签缺乏导致训练不佳、维度灾难导致检索响应慢等问题也会同时出现。在本文中为了解决社交媒体图像检索在实际应用中存在的多个问题,提出了一个解决整体问题的方法,实现一个基于弱监督检测的图像多目标哈希检索方法,通过使用社会弱标签学习图像中各目标的哈希表示,解决了监督式学习对人工标签的依赖问题,还可以有效提高检索效果,丰富检索形式,其主要的工作内容如下:(1)为了有效地利用社会标签中的信息,针对社会标签中所存在的噪声、缺失、表达差异等问题展开了研究,分别提出了对应的优化处理方案,重点引入了Word Net模型根据语义对噪声进行处理,通过融合社会标签之间的关联性和图像视觉特征之间的相似性进行社会标签补全优化,还通过语义聚类解决表达差异的问题,从多方面完成了社会标签的优化工作,改善社会标签质量。(2)针对当前主流社交媒体图像检索方法中将图像使用单一的特征编码表示,导致当进行多目标图像检索时性能不佳和检索形式单一的问题,以及强监督学习对人工标签的依赖问题,提出了基于弱监督检测的图像多目标哈希模型,通过构建一个多任务深度学习的网络架构,使用优化的社会标签,在两个任务分支中分别学习图像目标区域检测和目标哈希表示,每幅图像的特征由一个目标哈希集合表示,可以兼顾图像检索对时间、准确率的要求,并可有效扩充图像检索的形式。(3)在弱监督检测学习以及哈希学习两个任务分支上,都会面临标签的不准确性问题,对此设计了标签加权的损失函数,降低噪声标签对模型训练的干扰,并将两个相关任务结合设置了一个共同的优化损失函数,完成多任务模型的训练。大量的实验对比结果证明,本文中的标签优化方法可以明显的改善社会标签质量,对于检索任务的模型训练提供了良好的基础支撑。在提出的基于弱监督检测的图像多目标哈希模型上,可以有效地获取图像中各目标的哈希特征表示。在多个图像检索的评估指标下,相比当前的主流社交媒体图像检索方法具有明显的优势,并且在实际的检索效果对比下,检索结果更符合实际检索需求。在最后,依托于本文所提出的图像多目标哈希检索方法,结合实际的图像检索需求,设计并实现了一个功能完善的社交媒体图像检索系统,具有较好的使用体验。
其他文献
随着信息技术的发展,由于推荐系统通过采用海量数据挖掘的方式,为用户快速准确地筛选出所需要的信息,提供个性化服务和决策支持,而成为近年来的研究热点。特别是随着深度学习的发展,研究人员已经提出了大量高效的智能推荐算法和应用平台。但是由于推荐系统的数据稀疏性、冷启动以及难以解释性等问题,个性化推荐方法仍存在一些问题亟需进一步的改进。本文通过结合用户评论信息缓解数据稀疏性和冷启动问题,并结合上下文信息,构
尿液中的主要成分来自于血液经过肾脏过滤、重吸收后产生的排泄物,与人体的血液循环、泌尿系统、循环系统等密切相关,因此尿液检测对于医学研究与临床诊断具有重要的价值。由于尿沉渣检测技术受制于显微成像较差的稳定性,目前的尿沉渣检测方法仍然依赖于人工镜检法。临床通过显微镜成像采集的尿沉渣图像容易出现失焦,导致人工镜检的过程中过分依赖主观经验判断。本文的研究旨在解决尿沉渣显微图像画面整体失焦以及有形成分边缘模
众包平台“海纳百川”,集中群众智慧,完成凭个人力量难以完成的任务。对于特定任务,招募最佳的工人子集是任务顺利完成的关键,即工人招募(任务分配)乃众包平台的基本任务。任务具有各自的完成质量需求和预算限制,若任务完成的质量不小于需求,则任务顺利完成,否则失败。工人参与任务,由任务发布者支付报酬,报酬取决于工人的技能水平。工人和任务均有不同的偏好,任务偏好高水平工人,而工人偏好性价比高的任务。如何在任务
谱聚类作为聚类算法中较为优秀的算法,近年在各个领域取得了不错的进展。相比较单视图,许多现实世界的应用程序涉及从不同视图收集的数据,并且具有较高的数据维度和不可避免的噪声。由于维度灾难、无效去噪和多视图集成的结果不佳等问题,在此类高维且含有噪声的数据集上进行聚类仍然是一个挑战。因此如何设计一种算法,使得算法能够有效的处理高维含噪数据,对于多视图聚类有着重要的意义。在收集数据的过程中,数据总是处于不断
随着信息化技术的不断发展,借助计算机辅助数字化技术对文物的虚拟拼接方式也日益成为主流,相比于传统手工拼接方法,数字化虚拟拼接不仅更加高效,并且能够避免与文物的“亲密”接触从而造成二次破坏。对于因局部碎片缺失和断裂面受损所导致碎片特征提取不准确的问题,本文提出了两种文物碎片的拼接方法,并开发了文物碎片虚拟拼接系统对本文算法进行了验证,主要研究工作如下:(1)针对文物碎片拼接过程中存在因局部碎片缺失和
随着视频数量的不断增加以及深度学习的发展,人体动作识别研究取得了不错的进展。基于视频内容的人体动作识别技术在智能监控、动作预测以及视频目标追踪等领域都具有重要应用。比较成功的人体动作识别方法是双流卷积神经网络模型,该模型通过时间流和空间流两个网络联合视频中人体动作的外观特征以及运动特征对动作进行识别。但是该模型输入的信息(光流图和RGB图像)容易受到背景混乱、视角变化、物体遮挡等因素的影响。考虑到
在当下移动互联网时代,受到时代万物互联互通的影响,互联网流量的变化情况也相应表现出了指数级增长的特点,相关专家提出了边缘计算的理念。移动内容分发网络技术是一种将移动边缘计算与内容分发网络(Content Delivery Network,简称CDN)技术相结合的增强型内容分发网络,在移动内容分发网络的整体网络环境中,处于同一个边缘服务器覆盖范围内的用户可以通过D2D(Device to Devic
在对兵马俑模型进行三维重建建立完整仿真模型,使用计算机辅助进行虚拟修复等过程中,由于兵马俑本身的特性以及3D激光扫描仪的限制,需要使用多个站点获取不同坐标角度下的点云模型,对模型进行配准使其构成一个完整兵马俑仿真模型。兵马俑模型配准的结果将直接影响三维重建以及后续应用的效果。本文研究基于三维点云的兵马俑配准,主要研究内容如下:(1)针对点云规模过大以及搜索配准点对费时的问题,提出一种基于内部形状描
兵马俑是我国优秀历史文化的重要载体。随着光学感知和计算能力的提升,基于三维扫描的数字化建模广泛应用于兵马俑的保护和展示中。三维扫描构建的兵马俑稠密点云冗余数据多,数据量大,降低了处理、传输和展示的效率,现有点云简化方法往往强调执行效率而忽视了点云特征的保持。本文针对兵马俑点云在应用和展示中对特征保持的要求,提出了一种基于深度学习的三维点云简化方法,通过二维图像特征线提取三维点云的特征点,对非特征点
源代码漏洞检测是确保软件系统免受网络安全攻击的关键。构建深度学习模型进行漏洞检测是目前重要的研究方向,但已有的工作在模型训练时大多将程序视为顺序序列或无类型代码属性图,由于忽略了代码本身的结构信息,因而导致产生大量的误报情况。为了改进上述问题,本文提出一个新型漏洞检测模型框架FUNDED,利用图神经网络(GNNs)构建基于图关系的漏洞模式匹配方法,用以捕获程序的控制,数据,调用和依赖等代码间的关系