深度学习技术的兴起,使得自然语言处理领域与计算机视觉领域得到了进一步的融合。图像描述生成是计算机视觉、自然语言处理和人工智能交叉的一个新兴的跨学科问题,任务描述为对一幅图像生成相对于图像内容的文本描述,即看图说话。图像描述生成不仅可以为有视觉缺陷人提供帮助,更可以对大规模的图像、视频进行分类归纳。图像描述生成不仅要求识别图像中的重要对象、属性及其关系,还需要生成语义和语法正确的句子。基于监督学习的图像描述生成算法需要巨大的人工标注代价,因此本文提出了一种新的基于无监督的图像描述生成算法。现有的基于无监督的图像描述生成算法中缺乏注意力机制,直接将图像经过神经网络的卷积池化等操作转化成一个固定长度的向量来进行特征表示,在解码过程中只会基于全局特征进行词汇生成,而忽略了人眼会注意某些局部区域。现有的大部分图像描述生成都是基于监督学习的,因为数据规模的问题,生成的描述语句中物体类别不超过100种,所以,如何识别只出现在测试集中的那些相对于训练集未知的目标类,是现有的模型框架存在的第二个问题。针对上述两个问题,本文的研究工作主要分为以下两个部分:(1)将注意力机制融合到现有的无监督图像描述生成算法中。针对目前无监督图像描述生成算法将图像整体进行编码,导致在时序信息处理过程中对每个显著性区域缺乏“关注”。因此,我们对无监督图像描述生成算法框架进行改进,融入了注意力机制,我们将生成器模型设置为双层LSTM,一个是基于注意力的LSTM,一个是用来进行语句输出的LSTM。在每个时间步中,将提取Faster R-CNN网络中的低层特征和来自于基于注意力的LSTM的输出一起输入到基于语句生成的LSTM中,这样可以使每次单词预测时,会关注到图像的不同区域,将预测单词与显著性区域进行关联。(2)融合零样本学习算法,实现未知目标的检测进而提高了所提出的无监督图像生成算法的性能。现有的图像描述生成方法大都有这样的限制:无法对目标识别类规模进行扩展。引入零样本学习目标检测旨在能够正确识别测试过程中出现的而没有出现在训练过程中的类。我们将通过元类的概念,最大化类间距离,并使同一元类实现语义空间的聚类。将未知类和背景类归为一个超类,并在超类中对每一个未知目标进行判断,不断缩小超类的规模。通过在MS COCO数据集上进行F1指标评估,可以验证我们的算法性能。