细粒度图像识别,又被称作子类别图像识别,是近年来计算机视觉、模式识别等领域一个非常热门的研究课题。其目的是对粗粒度的大类别进行更加细致的子类别识别,但由于子类别间细微的类间差异和较大的类内变化,较之普通的图像识别任务,细粒度图像识别挑战性更大。细粒度图像识别研究,从提出到现在,已经历了一段较长时间的发展。早期的基于人工特征的算法,基本都采用局部特征编码等方式来获取细粒度图像的特征表示,但由于特征的表征能力有限,其识别精度也往往面临很大的局限性。近年来,随着深度学习的兴起,深度神经网络促进了该领域的快速进步:一方面,基于深度神经网络的视觉注意模型能够更高效、准确地定位图像中的判别区域,为细粒度识别模型提供更多有效信息,提升其对不同细粒度子类的分类能力。另一方面,越来越多的算法倾向于不再依赖强人工标注信息,仅使用弱监督（weakly supervised）下的类别标签来完成对细粒度图像中目标及其部件的定位任务,并融合视觉编码信息,进一步提升细粒度图像的识别精度。在此基础上,本文提出基于视觉注意机制的细粒度图像识别方法,通过设计有效的视觉注意模型来获取细粒度图像的判别性特征表示,并在扁平结构、层次结构的细粒度图像识别以及有害昆虫识别上验证模型的有效性。本文的贡献主要体现在以下几个方面:1.本文在视觉注意模型方面开展了相关研究,分别提出了特征相关视觉注意、类别相关视觉注意及层次视觉注意方法。不同于以往的视觉注意方法,本文提出的特征相关视觉注意方法是通过对卷积神经网络的神经元激活响应进行融合与聚类计算,挖掘细粒度图像自身特征信息相关的视觉注意图。通过权重叠加与聚类计算获取输入图像的视觉注意图,用来定位输入图像中的目标与部件位置,从而有效地挖掘细粒度图像包含的判别性信息,较为显著地提升了细粒度图像的识别精度。为了构建任务驱动的视觉注意模型,本文进一步结合图像类别信息与对抗擦除学习,把类激活图与对抗擦除学习进行结合,构建了类别相关的视觉注意模型。对抗擦除学习能够帮助视觉注意网络进一步挖掘细粒度图像中与当前类别相关的判别区域,为识别网络提供更多有效的判别信息,提升细粒度图像的识别精度。进一步,为了解决具有层次类别标签的细粒度图像识别问题,本文还提出了层次视觉注意模型,创新性地把层次类别标签融入到视觉注意模型中,通过特别构建的损失函数实现对层次视觉注意网络的约束与优化,获取与层次类别信息相关的判别区域,进一步提升不同层次下的识别精度。2.针对多层次细粒度图像识别问题,本文提出层次类别约束模型,利用先验的生物分类层次信息完成多层次细粒度图像识别。不同于以往的层次分类方法,本文提出的层次类别约束模型充分利用不同生物分类层次下的判别区域,并依据不同生物分类层次下识别错误的严重性,提出反向追溯约束损失函数,有区别地惩罚这些错分的样本,降低识别模型对样本识别错误的严重性。此外,针对不同生物分类层次下类别之间的差异性问题,提出了层次三元组损失函数来提升模型对同一父类下不同子类的识别精度。通过层次视觉注意及层次类别约束的作用下,本文所提出的层次细粒度图像识别模型能够更好的完成层次细粒度图像识别任务。3.利用多层次细粒度图像识别网络来解决具有层次类别标签的有害昆虫识别问题。针对海关检疫的实际需求,本文对海关检疫部门提供的多达8万张有害昆虫图像样本进行归类整理,构建了具有“科”、“属”和“种”三个生物分类层次的有害昆虫数据集。在此基础上,把层次视觉注意模型与层次细粒度图像识别应用到有害昆虫识别任务中,构建了面向海关检验检疫需求的有害昆虫图像识别系统。