各个模态之间的“异构鸿沟”导致不同介质模态的数据难以直接进行相似性度量。随着深度学习的兴起,深度神经网络模型的非线性建模能力将有望跨越模态“鸿沟”,在不同模态的数据之间建立起联系,实现跨模态检索。电子政务系统是党政机关最普遍的信息化应用,但是其检索方式非常单一,只能通过输入关键字来获取检索结果,而最终可检索获得的模态只有文本一种。要想通过电子政务系统检索获得图片、音频、视频等资料,是一件非常困难的事情。为解决上述问题,本文结合电子政务的特殊性,对如何构建电子政务多模态数据集以及跨模态检索方法进行相关分析与研究。在电子政务系统中实现了跨模态检索功能,也是首次将跨模态检索技术应用到电子政务领域。具体研究内容如下:(1)建立电子政务多模态数据集。一个良好的数据集对于构建适用于电子政务系统的跨模态检索模型至关重要。然而,现有的数据集并未涉及电子政务相关领域,与电子政务相关的数据也十分匮乏。本文研究了如何从多个党政机关门户网站上获取相互匹配的图片、文本等不同模态的数据,所获得的图片与文本共涉及:时政、经济、文化、生态、社会、教育、科技、国防八个类别。最终,本次实验构建了一个由20000张图片与20000个文本组成的电子政务多模态数据集。(2)设计面向电子政务系统的无监督跨模态检索模型。本文选取生成式对抗网络作为模型框架,结合电子政务系统特点,使用基于深度学习、词袋模型、哈希和K近邻的方法并对其进行改进与扩展,实现了无监督跨模态电子政务信息检索。(3)在电子政务系统中实现跨模态检索功能。本文针对如何在电子政务系统中实现跨模态检索功能进行相关研究。首先,研究如何在电子政务系统中设计和实现跨模态检索功能,完成跨模态检索功能各个模块的详细设计。然后,重点研究了如何将跨模态检索模型跨平台部署到电子政务系统中。由于跨模态检索模型较为复杂,该集成工作结合了多种模型跨平台部署实现方法。最终,在电子政务系统中实现了跨模态检索功能,进一步丰富了电子政务的搜索功能,提升了用户体验。此外,本次研究也实现了跨模态检索技术在电子政务系统中零的突破,扩大了跨模态检索技术的应用场景,推动了跨模态检索技术的发展。