论文部分内容阅读
基于内容的图像分类、检索、描述等应用依赖于图像的语义特征表示。本文通过堆积生成式对抗网络(SGANs,Stacked Generative Adversarial Networks)模型解决图像特征提取和散列表示问题以提高图像检索应用的检索准确率和时间效率:提取图像的层次结构语义特征,提高图像检索应用的准确率;通过离散化得到图像的语义散列表示,从而提高图像检索应用的时间效率。另外,在无监督SGANs的基础上引入部分标注语义信息,引导相似图像的散列语义特征具有更好的聚集特性,进一步提高检索准确率。具体工作总结如下:(1)无监督层次结构的语义特征表示学习:采用SGANs将图像的特征表示学习分解为逐层堆积的生成对抗模型,逐步提取图像由低层次的轮廓特征到高层次的抽象语义特征,并通过散列技术形成低维的层次结构的散列特征向量,增加同类图像的聚集机会,从而提高准确性。(2)半监督深度语义散列特征表示学习:图像的标注信息不仅提供了图像的类别信息也蕴含了图像之间的相似性。在无监督SGANs的基础上引入部分标注语义信息,利用图像之间的相对相似性,设计面向图像检索的深度散列优化目标,引导相似图像的散列语义特征具有更好的聚集特性,进一步提升了检索的准确率。(3)实验验证与检索应用系统原型实现:在标准数据集和大规模电商商品图片集上验证模型的有效性和检索准确率。实验表明通过生成式对抗网络的堆积模型获得图像的散列特征表示具有良好的聚集特性,半监督的SGANs深度散列方法比无监督的SGANs方法检索效果提升明显,比基于手工特征的散列方法和有监督的深度学习散列方法检索效果也有明显提升。在检索应用中部署堆积模型,实现检索应用的系统原型。