图像文本生成研究是融合自然语言处理和计算机视觉的交叉研究领域,其主要任务是让计算机具有识别、理解图像内容并形成文本描述的能力,具有重要的现实意义,在人机交互、视觉问答、视觉障碍者协助、图像检索等领域具有广泛应用。融合图像与文本的跨模态生成任务可以有效提取不同模态数据特征,完成不同模态数据间的转换,弥补单一模态所提供信息的不足。但图像文本生成技术受图像与文本对齐偏差的制约,影响了生成效果及后续的工作。在此背景下,本课题在图像文本生成和图像检索领域展开研究,结合Word2vec算法与注意力机制,提高生成文本的质量,在此基础上设计并实现基于跨模态技术的图像检索系统。首先,为了建立视觉实体词汇表,在包含105万条语句的图像描述数据集中提取视觉实体词汇。具体做法是:对数据集中每张图像,提取图像对应的多条文本描述中具有视觉实体的共现词,创建基础视觉实体词汇表;利用Word2vec算法计算视觉实体词汇表中词语与图像描述中词语的相似度;通过设定一个合适的阈值筛选出相似词汇,构建并拓展Word2vec视觉实体关键词典。其次,解决传统图像文本生成算法中图像关注区域注意力弥散的问题。采用Word2Vec-Attention的方法,保留图像描述中出现在Word2vec视觉实体词典中的词汇,对数据集进行重新写入,去除注意力关注不到的冗余信息,结合注意力机制对测试集图像生成描述文本。实验结果表示,本文提出的算法在重构的英文数据集上BLEU-1值、BLEU-2值分别提高了4.2%和3%,在重构的中文数据集上BLEU-1值、BLEU-2值和BLEU-3值分别提高了2.9%、1.5%和1.1%,说明本文Word2vec-Attention算法是有效的。最后,设计并实现一个基于跨模态技术的图像检索系统。系统主要有四个模块:图像文本生成模块、文本检索图像模块、图像检索图像模块和图像库自动更新模块。系统采用跨模态深度学习方法,融合基于文本的图像检索技术和基于内容的图像检索技术,以实验数据集为图像检索数据库,结合Lucene检索机制搭建图像检索系统。通过系统性能测试,证明本系统可以实现图像的自动文本描述生成,采用输入文本或上传图像方式进行检索图像,并能将用户上传的图像更新到数据库中实现数据库的自动扩充。