图像标注（Image Captioning）是指利用计算机自动生成自然语言句子来描述给定图像内容。这就要求计算机首先要全面、详细地理解图像内容,即有效表征图像包含的物体、物体属性以及物体间的相互关系;然后,将图像内容转化为一句语法、语义正确的自然语句。其中,理解图像内容隶属于计算机视觉领域,而自然语言表达是自然语言处理中的重要任务之一。因此,图像标注涉及计算机视觉和自然语言处理两大学科领域。随着深度学习不断发展,深度神经网络广泛应用于计算机视觉和自然语言处理等各个领域。相应地,基于神经网络的图像标注模型亦开始迅速发展,其中大多采用编码器-解码器架构。在该架构下,编码器使用卷积神经网络（Convolutional Neural Network,CNN）编码图像内容为图像特征,而解码器使用循环神经网络（Recurrent Neural Network,RNN）将编码后的图像特征转化为图像描述。现有研究主要从增强编码器和解码器两个方向来提升图像标注性能:1)能否正确理解图像内容会影响图像标注的后续解码,因此,增强编码器能捕获全面、丰富的图像信息显得尤为重要;2)解码器负责将提取的图像特征翻译成文本描述,涉及到如何有效利用图像特征来生成接近人类描述的自然语句以及如何缩短图像特征到语言转换过程中产生的语义鸿沟。为此,本文引入有益于计算机理解图像内容的高级语义概念、配准图像特征与文本描述的注意力机制等策略来增强编码器或解码器,解决模型中存在的语义信息不足、注意力散聚等问题,来提升图像标注性能。本文研究内容和创新点归纳如下:1.基于目标感知的语义注意力模型。现有图像标注模型已验证,可通过提取图像上下文信息和空间信息来提升图像标注模型性能,但它们都忽略了图像中的物体等细粒度信息以及物体间关联信息,而这些信息对于理解图像、描述图像至关重要。为了能更好地理解图像内容并生成准确的文本描述,本文研究如何显示捕获物体的细粒度信息以及物体间的关联关系。借助目标检测器获取到的物体类别和位置信息,据此构建三类物体感知语义信息,分别是物体类别信息、物体间相对大小和相对距离。具体地,1)为描述物体个数,构建物体类别矩阵,存储每类物体的总数,能够从语法上保证生成句子的单复数形式正确;2)物体在图像中的相对大小能说明图像内容中的主要信息,保证生成的图像描述不会过于偏离图像主题信息;3)直观上,物体间的相对距离在一定程度上描述物体间的关联性。在基准数据集上的实验结果表明,上述提出的三类语义信息指导注意力模块,有效预测相应地语义文本表述。与现有人工高级语义感知的图像标注模型相比,提出的语义信息能极大地提升了预测文本的准确性。2.级联语义融合标注模型。为了实现编码器有效理解图像内容,现有工作主要关注如何提取或构造不同粒度的语义特征,这类方法需要凭借大量的人工实验和特征集成方案才能发挥出它们的效能。本文尝试采用基于级联结构的深度网络模型实现自学习语义信息,并完成不同粒度信息的融合,以捕获图像中物体的细粒度信息、图像的全局上下文信息以及图像的空间信息,进而指导解码器生成全面、准确的图像描述。此外,提出的模型中引入了语义注意力机制减少背景信息干扰,有效提升语义表征能力。通过消融实验,验证了不同级层的视觉特征对文本表述的全局和局部影响。在基准数据集上的大量实验结果表明,基于级联结构的图像标注模型极大地提升了标注性能。3.门控空间和语义注意标注模型。在编码器-解码器框架中,现有图像标注主流方向是考虑编码器如何捕获图像中的语义信息,而对解码器的潜在解码能力关注不够,特别是解码器如何将图像特征转化为与人类描述相似的自然语句。为此,本文提出三重LSTM,以先分后合的方式确认与图像主题相关的空间和语义注意力特征。在解码过程中,解码器提出上下文门模块以公平方式重新利用编码器的高级语义信息来预测当前单词,其中,重新加权空间和语义注意力可调整注意力机制模型的关注区域,有效关联图像区域与正确文本,以缩短图像和文本转换过程中的语义鸿沟。通过实验比对发现,采用上下文门模块能够有效缓解曝光偏差问题。4.分层编码器-解码器标注模型。现有工作很少同时改进编码器和解码器来提升图像标注性能。重要的是,如何有机耦合编码器和解码器,充分利用语义信息来增强物体和文本间的匹配,从而减少注意力散聚对模型的负面影响。为此,本文提出了一种简单而有效的分层编码器和解码器模型,并首次在图像标注模型中收集多个卷积层特征,允许模型分层次地跨不同级别渐进地捕获图像信息。基于这些分层特征,建立了多注意力LSTM模块,实现与任务相关的多层次特征融合,并在预测单词时对每个单词执行多次注意力机制,以提供更多机会来降低视觉特征和文本之间不匹配的风险,增强彼此间的关联性。