随着Web2.0时代的发展,图像、文本、声音、视频同时存在的跨媒体数据正渗透到人类社会生活的方方面面。跨媒体数据尤其是图像和文本数据的广泛共同存在,无论是短期来说为解决跨媒体检索问题还是长期来讲实现计算机用人类语言与人类交流的目标来说都提供了数据基础。本文立足跨媒体大数据时代信息检索的新需求,围绕图文数据呈现的多模态、复杂异构、海量、大时空尺度和社会性等特点,研究探索图文交叉检索任务的解决方法。本文针对数据集中存在大量与检索不相关的文档的现状,基于局部敏感哈希算法和神经网络学习提出了数据集约减算法对检索数据集进行了约减。本文基于传统方法和深度学习理论各提出了一个图文交叉检索模型:首先,基于处于异构空间中的图文数据特征映射到同构空间中的思路,利用多标签信息对传统的典型相关分析方法做出了优化,提出了融合语义的核典型相关分析方法;其次,基于卷积模型提取的图像特征图可以作为图像语义片段特征的观点提出了一个细粒度的图文匹配卷积融合网络,通过融合编码图像和文本的语义片段特征得到图像文本的匹配分数。本文主要工作及研究成果包括以下三个方面:(1)本文针对图文交叉检索任务中,数据集中往往包含大量与查询需求完全不相关的内容的情况,基于局部敏感哈希算法和神经网络提出了一种可以显著提高数据集中相关文件比例的数据集约减算法。(2)本文针对传统典型相关分析方法在对图文交叉检索问题建模学习共享子空间时,不能很好的对图像文本之间非线性的相关关系很好的建模,以及对图文交叉检索任务的一些辅助信息不能加以利用的不足的问题,将多标签形式的语义信息用于优化核典型相关分析方法,建立了融合语义的核典型相关分析模型。(3)针对目前多数基于深度学习的图文交叉检索方法中,文本与图像的建模过程完全独立,没有任何交互,直到生成了最终的向量表示才进行关联分析建模的现状,设计了提取图像和文本细粒度特征并对图像文本的细粒度特征融合编码的卷积融合网络,该网络既允许在一定程度上分别抽取图像和文本各自的特征又允许图像和文本的特征充分融合编码并最终产生图像和文本的融合特征用于得出图像文本对的匹配分数。