图像描述任务旨在生成给定图像的语言描述。该任务非常具有挑战性,因为它需要深入了解视觉和文本信息之间的关系。近年来,随着计算机视觉和自然语言处理技术的发展,图像描述任务取得了新的进展。当前,软注意力机制被广泛应用到图像描述任务中,它不仅提升了图像描述的性能,还为模型的定性分析提供视觉解释。软注意力机制根据上一时刻的单词,生成不同的权重并对图像特征进行加权融合,得到视觉注意力特征,并以此生成当前时刻的单词。在这个过程中权重更高的特征能够更多地参与单词的生成。然而,标准的注意力准确性度量方法评估结果表明,现有的注意力机制的对齐能力仍远低于预期。主要原因是:1)注意力机制会对齐到与目标无关的区域,导致对象幻觉等问题;2)标准的注意力准确性度量方法不够准确,不能有效评估注意力机制的对齐能力。本文针对以上问题开展了研究,具体内容如下:（1）提出一种基于自底向上特征的图像描述注意力准确性度量方法。当前主流的特征是自底向上的区域特征,这些区域存在重叠以及无法完整地覆盖整幅图像等问题。因此,对于基于区域特征的图像描述模型,定量地分析注意力机制的准确性是十分困难的。标准度量方法只关注注意力权重最大的区域,忽略其他区域的贡献,不符合软注意力机制的特性。为更好地衡量注意力机制的有效性,本文提出一种基于自底向上特征的图像描述注意力准确性度量方法。首先,通过特定映射,将图像区域级别的注意力权重分布映射到空间域,得到像素级别的注意力热力图。其次,计算视觉标注内热力图覆盖率,作为单词的注意力准确分数,判定该词的注意力准确性。最后,使用所有单词的注意力准确性,通过调和平均方法,获得注意力机制的准确性。实验结果证明,该度量方法能够准确评估注意力机制的准确性,且该度量方法与图像描述指标更加一致,使注意力模型更具可解释性。（2）提出一种基于组的注意力机制监督图像描述方法。使用视觉标注对注意力机制进行监督,可以有效提高注意力机制的对齐能力,解决对象幻觉等问题。但是,视觉标注中包含背景噪声和无关目标,生成的标签会误导注意力机制。同时,强监督的学习方法不适合多区域的标签,会引导注意力在多个区域上均匀分布,生成含糊的描述。为解决上述不足,本文提出一种基于组的注意力机制监督图像描述方法。首先,改进了用于生成注意力标签的区域采样策略,采样到更多富含目标视觉信息的区域,其中包括最有利于识别目标的辨识区域。之后,根据采样结果,本文对区域进行分组,将采样到的区域分为正类组,其余的区域分为负类组,并分配组类标签。然后,设计一种基于组的损失函数,以弱监督的方式对模型的注意力机制进行监督。该方法动态地获取最有区分性的视觉特征,这些特征可以是目标有辨识力的部件,也可以是目标的整体。该方法可以集成到大多数注意力模型中,并且不会增加模型的复杂度。在Flickr30k和MS COCO数据库上的实验结果表明,该方法分别取得96.0和140.9的CIDEr结果,均优于其他方法,可视化分析结果表明,该方法提升了注意力机制的对齐能力和生成描述的质量。