随着图像内容在互联网上的爆炸式增长,如何在大规模图像数据中快速检索出用户所需的图像已经成为人们关注的重点。传统的图像检索依赖用户提供文本描述,然而在训练检索模型时,获得文本描述需要花费大量的人力物力。近年来,随着移动智能设备的发展,人们可以在移动智能设备上快速绘画出能简单,清晰地描述物体特征的草图。因此,基于手绘草图的图像检索,这种不需要提供文本描述的检索方式引起了广泛的研究。此外,要保证所有物体类别都在训练过程中出现是很困难的。因此,基于零样本草图的图像检索这个更实际,更具挑战的难题出现了。基于零样本草图的图像检索涉及两个难点:一是如何克服跨模态检索中的语义鸿沟,二是如何构建零样本学习中可见类与未见类的联系。而解决这两个问题的关键都在于如何挖掘图像和草图的语义信息。因此,本文的研究重点是如何深入挖掘语义信息,使得生成的检索特征包含更多有效的语义信息。本文主要工作如下:1.为了保证模型在学习过程中能挖掘出两个模态共有的语义信息,本文提出了一种基于语义交叉模态重建的零样本草图检索方法。首先,本文采用两种常见的词嵌入模型来提取词向量,并将其作为语义监督。为了保证检索特征能够保持语义信息的完整性,本文采用了渐进式的生成策略,即第一步将两个模态的视觉特征分别映射到语义空间上与词向量对齐得到语义特征,第二步再将语义特征映射到共同的低维检索空间。在生成语义特征的过程中,本文采用了生成对抗的思想,即将词向量作为真实样本来约束生成的语义特征尽可能地学习到词向量的分布。此外,本文为了进一步挖掘语义信息,提出了语义交叉模态重建损失。它要求两个模态生成的语义特征都能够重建回原始的草图视觉特征和图像视觉特征。通过在两个常用的草图数据集Sketchy和TU-Berlin上进行的实验证明了该方法的有效性。2.为了保证模型生成的检索特征具有更加完整纯净的语义信息,本文提出了一种基于视觉特征分解的零样本草图检索方法。由于视觉特征中含有语义信息和域信息,而域信息对检索是有干扰的。因此,为了挖掘更完整纯净的语义信息,本文采用了视觉特征分解模块,将视觉特征最终分解成只包含语义信息的检索特征和只包含域信息的域特征。其中,检索特征的生成也是渐进式的。此外,本文为了进一步挖掘完整纯净的语义信息,提出了交叉组合重建损失。它要求分解后的检索特征和域特征能够根据不同的组合重建回原始的草图视觉特征和图像视觉特征。通过在两个常用的草图数据集Sketchy和TU-Berlin上进行的实验证明了该方法的有效性。