随着通信和互联网技术的飞速发展,多模态数据急剧增加。海量的多模态数据在方便用户的同时,也对信息检索技术提出了新的挑战。为了更好的满足用户对模态数据检索的需求,同时使计算机具有模拟人脑对海量的多模态数据进行认知、学习以及推理决策的能力,跨模态检索技术应时而生。深度神经网络类似于多层非线性投影,拥有比浅层方法更强的映射能力,可以充分提取不同模态的多阶抽象表示。其中,生成对抗网络能有效拟合多模态数据的分布,更好地学习多模态数据的共同表示。本文在对抗网络的基础上,融合了字典学习、度量学习和对偶子空间的思想,有效捕捉多模态数据的结构信息和语义信息,较好地消除了异构鸿沟和语义鸿沟。本文工作和创新点如下:1.提出一种基于秩约束的语义一致性跨模态字典学习（Semantic Consistency cross-modal Dictionary learning algorithm with rank Constraint,SCDC）方法。该方法将l₂₁范数和秩范数约束引入到字典学习中。随后,我们引入生成对抗机制,提出一种基于字典学习的对抗跨模态检索（Adversarial Cross-Modal Retrieval Based on Dictionary Learning,DLA-CMR）方法。该方法采用字典学习重构出更具判别性特征,同时利用了对抗网络来充分挖掘多模态数据复杂的统计特性。具体地,该方法构造了特征保持器和模态分类器两个对抗者,前者保证了转换特征（投影到共同空间的特征）在保持各自模态固有统计特性的同时具有最大相关性,有效消除了异构鸿沟。后者本质上是一个可以预测转换特征原始模态的二分类器。两者目的相反,不断对抗与提升,最终学习到一个有效跨越异构鸿沟和语义鸿沟的共同空间。2.提出一种基于对抗网络的跨模态对偶子空间学习（cross-modal Dual Subspace learning with Adversarial Network,DSAN）方法。该方法同时考虑了对偶子空间、度量学习和对抗学习。其中,对偶子空间可以有效挖掘不同模态潜在的底层结构信息,并能充分利用模态特定信息;提出一种改进的四元组损失,既考虑了相对距离,也考虑了绝对距离,在一定程度上推开了正负样本的边界,并且引入了难样本采样的思想,有效地减少了模型的复杂度,提高了模型的性能;提出一种模态内限制损失,最大化了最相似跨模态负例和对应的跨模态正例之间的距离。此外,该方法通过对抗学习,使得不同模态的数据在对偶子空间中学习到更好的特征表示,从而有效提高跨模态检索的精度。