随着移动互联网和社交媒体的快速发展与普及,多媒体数据呈爆炸式增长。图像、视频、文本和音频等构成的相互融合的跨媒体数据在形式上呈现多源异构,同时语义上相互关联。为了有效地组织、管理和检索海量多媒体数据,使用户摆脱媒体类型的限制,跨模态检索已成为当前工业界和学术界的热点问题。跨模态检索是指,给定一种模态的查询样例,返回与查询样例语义相关的其它模态的样本,以帮助用户从海量的多媒体数据中检索出感兴趣的内容。跨模态检索的核心思想是精确地计算不同模态样本之间的相似度,这通常是由度量学习驱动的。跨模态检索方法的性能严重依赖于度量学习挖掘和加权样本对的能力。跨模态检索场景中不同模态间数据的异构性和模态间数据分布的不均衡性都为度量学习方法的设计提出新的挑战。首先,面对复杂多样的跨模态检索场景,急需开发一种与任务无关的通用度量学习方法设计准则,为设计新型的度量学习方法提供理论依据。其次,多媒体数据中包含的大量噪声,对度量学习算法在实际应用中的通用性和鲁棒性提出了很大的挑战。最后,传统的基于手工设计加权函数的度量学习方法不可避免的涉及到超参数,而超参数通常需要在验证集上进行精调,耗费大量的计算时间和资源。如何开发新的算法自动学习超参数是当前急需解决的难题。针对以上挑战,本文的主要工作和创新点可以总结如下:第一,针对缺乏通用度量学习方法设计准则的难题,本文在归纳总结已有加权损失函数的基础上,提出一种通用加权度量学习框架。该框架通过抽象的加权函数将相似度分数和权重值关联起来,并给出了加权函数满足的约束条件。该框架统一了已有的加权损失函数,为分析各种加权损失函数的可解释性提供了强有力的工具,同时为设计新型的加权损失函数提供了理论依据。此外,本文进行大量的实验,在跨模态场景下对已有的加权损失函数进行了综合评估。第二,针对跨模态检索领域缺乏通用、鲁棒度量学习方法等挑战,本文基于提出的通用加权度量学习框架,设计了一种新型的自相似度多项式损失函数。它提供了一个新型的多项式函数将样本对的权重值和自身的相似度分数关联起来,能在模型训练的同时自适应的为样本对分配合适的权重值。得益于多项式函数的通用逼近能力,所提出的损失函数可以拟合绝大多数的权重函数。自相似度多项式损失能普遍适用于现有的跨模态检索方法。在五个公共数据集上的实验表明,该损失函数能显著提升跨模态检索模型的收敛速度和检索性能。第三,基于提出的通用加权度量学习框架,本文设计了一种新型的相对相似度多项式损失函数。相对相似度多项式损失函数在保留自相似度多项式损失函数通用逼近能力的情况下,大幅减少了损失函数中的超参数数量,使得模型在实际应用场景中更容易找到最优的参数组合。相对相似度多项式损失函数能普遍与已有的跨模态检索方法结合,并显著提升其收敛速度和检索性能。在五个公共数据集上的实验表明,相对相似度多项式损失函数的性能优于自相似度多项式损失函数。第四,针对现有深度度量学习方法中超参数多,超参数设定困难等挑战。本文引入元学习机制,提出一种新型的元自步网络,它能在跨模态检索模型训练的同时,自动的从数据集中学习最优的加权机制。在四个公共数据集上的实验表明,元自步网络能普遍适用于多种跨模态场景,显著节省超参数精调时间,解决了跨模态度量学习方法中的超参数设定难题。