图像描述生成将计算机视觉（Computer Vision）技术领域和自然语言处理（Natural Language Processing）技术领域完美地融合在一起,在盲人导航、盲人社交、人机交互、AI艺术创作、图像检索和少儿教育领域中都具有很广的应用前景。与目标检测、图像分类等任务不同的是,图像描述生成实现了用符合人类自然语言习惯的句子来描述图像,这不仅仅需要模型分辨出图像中的实体,还要求它能识别出其他的语义信息,例如实体的动作及其固有属性等,并理解出实体与实体、实体与环境之间的相互作用关系。随着深度学习技术及深度学习计算框架的不断完善和发展,基于深度学习的编解码（Encoder-Decoder）模型在图像描述生成问题中取得了不错的效果,但该模型简单地将图像和文本映射到同一向量空间,直接忽略了图像与自然语言之间存在的语义鸿沟。本文针对基于深度学习的图像描述生成算法展开研究,主要工作在于:1.创造性的将基于端到端的图像描述生成问题转化为Seq2Seq问题。虽然基于Encoder-Decoder模型架构已经成为解决图像描述生成问题的主流,但这样的只能够用一种黑盒的,从外部难以控制的方式描述图像,极度缺乏以可控的方式让解码器生成图像描述。针对这一问题,本文利用机器翻译的思想,在原有的Encoder-Decoder的模型架构之上,利用Spacy从图像描述中提取出实体块序列作为控制信号,用以辅助和指导长短期记忆网络（Long Short Term Memory,LSTM）生成图像的文本描述,将图像描述生成问题“白化”,缩小了图像与自然语言之间的语义鸿沟,使得图像描述的生成过程变得可控。2.提出了一种新的基于块哨兵和改进自适应注意力机制的图像描述生成方法。当前大多数的图像描述生成模型都使用了结构过于简单的解码器,使得模型很难翻译出高质量的图像描述。针对这个问题,本文在现有的基于自适应注意力机制的图像描述生成算法的基础之上,提出了一种基于深度学习的图像描述生成模型的改进方案,模型以图像实体块序列作为控制信号,同时设计一个控制实体块切换的块哨兵,以引入改进的自适应注意力机制的双层LSTM作为图像描述的生成器。实验表明:在MSCOCO及Flickr30k数据集上,本文模型在生成可控图像描述、图像描述质量及多样性方面优于当前主流的图像描述生成方法。3.引入强化学习思想来解决“曝光偏差”以及模型的训练目标和评价指标不匹配的问题,进一步优化图像描述生成模型的表达效果。首先Baseline使用交叉熵（Cross-Entropy,CE）损失来“早停”模型的训练,接着直接优化Cider指标对模型做进行进一步训练,在MSCOCO和Flickr30k数据集上的实验结果证明,这种方法可以显著地提升了模型的表达效果。