图像描述是机器能自动地理解图像内容,并且以自然语言的形式准确表达出来的一项计算机视觉任务,能为视觉障碍辅助、医学报告生成等问题提供基本的解决方案,是目前图像理解及其应用领域中的一项核心技术。由于图像数据规模的限制以及传统机器学习特征提取能力的不足,早期的图像描述研究面临着极大的挑战。近些年,基于神经网络编码解码的图像描述方法因其优越的性能受到研究者的广泛关注。特别地,视觉注意力机制因具有从庞大视觉信息中提取关键特征的能力,在计算机图像、视频处理等相关领域发挥着重要作用,基于注意力的图像描述方法也已成为当前的研究热点。然而,现有的模型只考虑了视觉注意力的空间特性与单一尺度,忽视了时间特性与多尺度表达在图像描述中的作用,影响了图像描述方法的性能。为了解决上述不足,本文完成了如下两个研究工作:(1)为充分利用视觉注意力的时间特性,建立注意力特征间重要的时序关系,本文提出了一种时空记忆注意力模型(Spatio-temporal Memory Attention,STMA)。STMA在输入门、遗忘门、更新模块和输出门控制作用的基础上,运用记忆单元存储特征的动态时间变化,将注意力从现有的空间模型拓展为时空模型。值得指出的是,STMA是一种通用的注意力模型,不仅能与现有的基于注意力的图像描述方法相结合,还有望应用于其它计算机视觉任务。在图像描述公开数据集MS COCO上的实验结果表明:相较于现有的注意力模型,本文提出的STMA在增加少量神经网络参数的条件下,显著提升了图像描述方法的性能,表现出较强的有效性与通用性。(2)为有效发挥不同视觉尺度下注意力表达的优势,进一步提升图像描述的性能,本文提出了一种基于多尺度融合注意力的图像描述方法(Multi-Scale Fusion Attention,MSFA)。MSFA通过多尺度融合注意力编码模型(MSFA-E)和多尺度融合注意力解码模型(MSFA-D)将图像的目标尺度特征和均匀空间尺度特征进行融合,用以增强对图像信息的表达能力。首先,多层的MSFA-E通过自注意力模型和指导注意力模型,对输入的图像进行编码,实现两种尺度特征的初步融合;其次,多层的MSFA-D基于语言描述时序向量的指导,在神经网络解码阶段进一步实现多尺度特征的融合,并生成符合当前描述语境的注意力特征,辅助语言模型生成描述语句。在图像描述公开数据集MS COCO上的实验结果表明:相较于单一的注意力尺度,本文提出的多尺度融合注意力方法实现了两种尺度特征间的优势互补,图像描述性能得到明显的提高,与现有的方法相比具有很强的竞争力。本文的研究工作分别从视觉注意力机制的时空特性和多尺度融合两个角度对注意力模型结构进行了改进,不仅提高了现有基于视觉注意力的图像描述方法的性能,而且丰富了图像描述方法的研究,有助于推动相关研究的进一步发展。