随着计算机技术的蓬勃发展,人工智能迎来了新热潮。深度学习作为人工智能领域的主要技术之一,在计算机视觉、自然语言处理、语音识别等诸多领域取得了突破性的进展。在物体检测、对象识别、机器翻译等单模态任务中达到了媲美人类的水平。近年来,越来越多的研究者将关注点从单一模态信息处理扩展到跨模态任务,诸如视觉叙事、自动问答等更加复杂且具有应用价值的多模态任务成为新兴的研究热点。图像字幕生成任务就是其中一种,旨在用一句话去描述图像的主要内容。图像字幕生成任务主要分为三个部分:图像视觉的理解、视觉和语言之间的语义对齐,以及自然语言的生成。对于图像视觉理解部分,目前主流的图像字幕生成方法的优化重点大多集中在对图像内部显著区域进行的处理上,而忽略了不同区域之间的内在联系,导致产生的视觉表达相对匮乏,最终生成的图像描述也相对简单、琐碎。对于视觉和语言的语义对齐部分,大多数的图像字幕生成方法采取直接学习图像和文本之间的跨模态映射策略,然而视觉信息和语言信息之间存在语义鸿沟,导致学习到的跨模态映射在细节方面不够准确,最后生成的图像描述在内容细节和用词多样性方面表现不佳。本文主要针对上述两点问题,展开对图像字幕生成问题的研究,主要工作包含以下两个方面:（1）针对图像视觉理解部分缺乏关系考虑的问题,提出了一种基于文本引导图构建的图像字幕生成方法。该方法以相似图片的描述作为线索,引导模型去关注图像中语义重要而视觉显著性缺乏的部分、帮助学习图像内部各区域之间的内在联系,同时在无需额外制作知识库的前提下,引入一些图片之外的有用信息,以提高图像特征表达的准确性与多样性,使得生成的图像字幕中描述物体之间关系的用词更准确、更丰富。（2）针对视觉和语言之间存在跨模态语义鸿沟,导致生成的图像描述在细节方面不够准确的问题,提出了一种基于文本引导编码与自适应解码的方法。首先,该方法进一步探讨了图像相关文本在图像字幕生成过程中的作用,设计了一个文本引导编码模块以丰富图像的视觉表达。其次,提出了一个基于“生成+微调”的自适应解码结构。在生成阶段,更注重图像字幕整体方面的学习（比如逻辑通顺、语言流畅）,而在微调阶段,则会更关注图像字幕细节方面的学习（比如内容准确、用词丰富）,从而生成语言通顺、内容准确的高质量图像描述。