图像描述即向计算机输入图片,计算机生成对应描述图片内容的文本句子的过程。图像描述在现实中有着广泛的应用,例如航天、教育、自动驾驶、商品自动标注和搜索引擎等。因此图像描述的研究有着广泛而深远的意义。基于注意力机制的方法是图像描述领域广泛应用。基于注意力的图像描述方法,具有容易训练、参数量少、自动化运行、准确率高且特征丰富等优点。然而图像描述注意力机制方法存在着图像关联性特征较弱、提取特征浅显和文本与图像关联较弱等缺点。这些因素影响着模型的输出精度。论文从这几个方面进行改进,提升图像描述的预测精度。(1)针对注意力模型中特征关联性较弱,无法有效结合图像文本特征的缺点,本论文提出特征选择网络模型。特征选择网络模型在较低层次的特征图上添加掩膜进行筛选,有效地克服了特征之间关联性较弱的缺点。实验结果表明,使用特征选择网络模型,经过约30h的训练,模型预测速度大约75帧/s,模型精度在原来基础上提升0.1。(2)针对注意力模型提取特征浅显的问题,论文提出对象注意力模型。论文将激活函数与分类特征的乘积作为掩膜,并将掩膜与分类特征相乘,从而构成对象注意力模型。它有效地克服了注意力模型提取特征浅显的问题。(3)针对传统模型中输入文本与图像关联较弱的问题,论文在对象注意力模型上,提出融合层网络。融合层网络融合文本与图像,并将融合结果作为对象注意力模型解码输入,克服了文本图像关联较弱的缺点。实验表明,结合融合层与对象注意力结构的模型,训练时间大约48h,预测速度大约55帧/s。实验精度在原来基础上提升0.15。实验中采用的数据集包含Flickr8k,Flickr30K和COCO2014。其中Flickr数据集包含约4万张图片,COCO包含约8万张训练图片,4万张测试图片,4万张验证图片。实验评价方法采用BLEU方法和METEOR方法。本文工作主要分两部分,其一对传统注意力模型进行了特征选择改进,提出了特征选择网络。其二,本文提出对象注意力模型和融合层。通过对比可知,特征选择的确有助于改进模型效果,而更深层次的对象特征对于图像描述结果影响比重很大。这为图像描述领域后续的发展提供了新的视野。