随着互联网的进一步普及以及数字多媒体技术迅速发展,全球已经进入大数据时代。网络数据体量呈爆炸式增长,数据传播形式由单一文本发展为包含文本、图像、视频、三维模型等多媒体数据。如何有效地对庞大的多媒体大数据进行存储和分析,为用户提供感兴趣且类型丰富的媒体数据,已经成为学术界及工业界高度关注的重要问题。跨模态哈希技术,通过机器学习紧凑哈希编码的方式对多媒体大数据进行管理与分析,具有存储空间小、检索速度快等优势,是解决多媒体大数据检索问题的关键技术。此外,互联网本身具有开放性,滥用多媒体数据等不良行为屡见不鲜。因此,跨模态检索技术的安全性同样面临着巨大的考验。通过模拟对抗攻击检索,设计攻击样本,对跨模态哈希模型进行安全性分析,进而提升模型的鲁棒性,已经成为当前跨模态哈希检索领域新的研究热点。现有跨模态哈希检索方法可分为两大类:基于手工设计特征的方法和基于深度学习的方法。本论文致力于研究基于深度学习的跨模态哈希检索方法,针对现有方法存在的问题:如特征表示能力低、模态关联不强、语义理解不准、模型鲁棒性差等,进行理论方法创新。本论文的主要创新可以概括为:1.提出一种基于自监督对抗学习的深度跨模态哈希方法。传统的跨模态哈希方法常依靠专家知识手工设计特征,受已有知识所限,这些方法往往无法得到识别能力强的特征表示,导致检索效果不理想。此外,已有的深度哈希方法通过构造简单的相似性约束来关联不同模态数据,只能构建较弱的跨模态关联关系,从而产生不可靠的哈希码。针对上述问题,提出一种基于自监督学习的深度跨模态哈希方法:首先,构造可靠的辅助语义知识挖掘网络,深入挖掘跨模态数据之间潜在的共享语义知识。其次,提出基于生成对抗网络的深度跨模态哈希框架,利用生成对抗学习将挖掘到的语义知识嵌入到跨模态哈希学习任务中,构建从语义特征到哈希编码双空间引导的统一哈希表征学习方式。实验表明,与传统跨模态哈希方法以及现有的深度跨模态哈希方法相比,所提方法能有效增强跨模态哈希网络学习关联性,实现跨模态数据准确检索。2.提出一种基于循环生成对抗网络的深度无监督跨模态哈希方法。尽管已存在海量的多媒体数据,但是数据标注质量参差不齐,而现有基于深度学习方法严重依赖大量高质量的人工标注样本。然而,获取高质量标注样本的代价巨大,限制了已有方法在实际跨模态检索任务上的应用。针对上述问题,提出一种基于循环生成对抗网络的深度无监督跨模态哈希方法,通过设计双循环生成对抗网络统一框架,构建跨模态数据关联关系,进而学习跨模态哈希编码。深入研究跨模态数据成对共现的特性,借助外循环生成对抗网络学习跨模态数据特征表示,借助内循环生成对抗网络学习跨模态哈希码。实验表明所提方法相比已有方法能有效挖掘跨模态数据的近邻关系,大幅度降低对人工标记数据的依赖。3.提出一种基于对抗攻击样本的跨模态学习方法。最新研究表明深度神经网络普遍存在鲁棒性差、易受攻击等问题。而现实中,已有的最先进跨模态哈希方法直接或间接地采用了深度网络框架,导致深度跨模态哈希方法同样存在安全隐患,进而限制了深度跨模态哈希方法在某些安全领域的应用。针对上述问题,提出一种基于对抗攻击样本的跨模态哈希检索方法,通过对比模态内、模态间两种检索任务的差异性,挖掘常规数据与对抗样本数据语义空间结构分布差异,进而提出构建最大化模态内语义一致性、同时最小化模态间语义一致性约束的对抗样本学习方法。实现在维持模态内检索性能不变的前提下,有针对性的攻击跨模态检索模型,即获得的对抗样本更具有攻击性。实验表明,通过所提方法设计的跨模态攻击样本能有效对目前流行的深度跨模态哈希检索模型进行攻击。相反地,用所学习到的攻击样本对模型进行对抗训练,可以进一步有效提高模型预防攻击的能力。4.提出一种基于解耦对抗样本学习的跨模态哈希检索方法。已有的深度跨模态学习方法通常采用相似性约束作为监督信息的学习方式。这些方法依赖深度网络强大的非线性拟合能力,总可以学习哈希码使其满足预先设定的相似性条件。但因为缺乏对跨模态数据内容本身的研究,深度网络脆弱性的本质未被充分挖掘。虽然不断有检索精度性能良好的深度哈希方法被提出,但是深度哈希网络安全性问题一直存在,易被恶意攻击。针对上述问题,提出一种基于解耦对抗样本学习的跨模态哈希检索方法,首先,从跨模态数据源头出发,研究数据之间自身的关联性,提出将原始数据分成跨模态相关样本和跨模态无关样本。然后,引入对抗攻击样本学习方式,通过设计最大化原始样本与模态相关样本间的相似性、最小化原始样本与对抗样本之间的相似性约束,从跨模态数据中解耦出模态相关成分。实验表明,所提方法可以有效提取模态相关成分,并且使用所提方法解耦得到的模态相关样本对目标网络进行训练,可以有效提升模型的鲁棒性。