图像描述生成任务跨越了计算机视觉和自然语言处理两个领域,该任务是极具挑战的,它不仅要求识别,检测出图像中的物体,对象,还要理解他们的关系,最后用一段自然,流畅的话来描述图片。同时,该任务有着很大的研究意义和应用价值,对该任务的研究让我们朝真正的图像理解这个终极目标更近一步,从实际应用价值上看,该任务能帮助视觉障碍人群更好地感知认识周围世界,能提高图文检索和图像标注任务的效率。当前主流的图像描述生成研究方法是在编码器-解码器框架中加上注意力机制。研究者们在此之上进行了各种角度的改进,比如用多阶段不断调整生成描述,修改解码器结构,利用更好的编码器直接和语义信息挂钩等等。注意力机制在整个人工智能领域已经是很普遍的一种机制,基本原理是对一组特征加权求和,加权系数代表关注程度,它的实现相对简单但是能带来很大的提升,我们论文的重点就是改善图像描述生成中的注意力机制。我们一共提出了两种注意力机制的改善方法。我们相信在前一时刻的注意力机制结果中的信息可以作为辅助指导下一时刻注意力的形成,因此提出了循环的注意力机制,包括朴素的注意力机制,门控式注意力机制以及基于LSTM的注意力机制。同时我们发现在普通的注意力机制中,特征集中特征之间的关系并没有被显式地考虑,因此我们还提出了自注意力机制来建模这种关系,从而得到一个有着全局信息的表达,接着我们研究了自注意力和普通注意力的组合方式。在MSCOCO数据集上的实验结果表明,朴素的注意力机制不能有效地利用前一刻的信息,门控式的注意力能略微提升生成描述的评价指标分数,但是这种提升非常有限,基于LSTM的循环注意力能比较明显地提高模型的表现,且这种提升不是来自于3层LSTM。自注意力机制本身能够提高编码器-解码器框架下的图像描述生成模型,和普通注意力机制在串行组合时增加了模型的学习难度未能最大程度发挥两者的优势,在并行组合时取得了最好的效果,达到和当前最好模型接近的结果。