随着深度学习的迅猛发展,人工智能技术已融入人们日常生活的方方面面,拍照购物、刷脸支付、旧照新颜、智能换脸,人工智能所赋能的落地应用随处可见。这些应用背后一项重要的技术便是对于图像中物体的建模。物体是由部位组成的,因此,基于部位的图像建模是一种契合物体固有属性的,基础而重要的图像建模方式。然而,部位建模存在以下问题:部位信息的标注代价巨大,依赖部位标注的建模方式难以大规模拓展;无需标注的自动部位检测又极具挑战,所获取的部位信息的语义一致性（在不同样本中定位的部位有相同语义）较差,且难以定位到细小部位。本文围绕部位信息的学习和应用展开研究,由浅入深地研究了三种部位学习的方式:首先针对已有自动部位检测工作中部位定位不准确、语义一致性较差等问题,研究了如何更加准确地显式预测出给定图像中各个部位的位置信息;接着针对显式部位学习中训练复杂、计算量大等弊端,设计了更加高效简洁的隐式部位学习方法,将物体部位的建模融入到网络训练或特征提取的过程中;最后,延续隐式部位学习的研究,进一步讨论了图像生成中如何进行部位建模,从而验证了部位建模的泛化性。在部位信息的显式学习方面,本文研究如何精确定位到细小的、具有语义一致性的部位信息,提出了多注意力网络和渐进注意力网络模型。首先,针对部位定位和特征学习常作为两个独立阶段进行优化而无法得到全局最优解的问题,本文提出了一种基于多注意力模型的弱监督部位学习方法,通过设计可反向传播的通道分组层和相应的弱监督损失函数,使得部位定位与特征学习可以在神经网络中端到端训练并实现互相增强。此模型综合利用了图像类别信息和物体部位的空间先验信息对数据集中隐含的结构化信息进行挖掘,可以较为鲁棒地在多个数据集中定位出具有高度一致性的部位,并能大大提高细粒度识别问题的识别准确率。进一步地,为了精确定位到更加细粒度的部位,本文提出了一种渐进注意力网络,通过设计注意力修正机制,实现初定位和放大修正两阶段部位定位,有效减小了定位偏差。迭代使用此模型可以建模部位间的空间层级关系,实现多尺度部位的精细化特征表示,进一步提升细粒度识别问题的识别准确率。在部位信息的隐式学习方面,本文研究如何高效地将部位建模融入到网络训练或特征提取的过程中,提出了注意力采样网络和深度双线性网络。首先,针对显式部位学习中超参较多,训练过程复杂,计算量大等问题,本文提出了三线性注意力采样网络。此模型首先通过建模特征通道间的关系,增强了特征通道所表达语义的鲁棒性;然后通过设计注意力采样模块,将部位信息存储于重采样的图像;最后通过知识蒸馏的训练方式,将部位信息高效融入卷积神经网络。进一步地,为了设计一种更通用的网络架构,将物体部位的建模融入到每一层网络的特征提取中,本文提出了一种深度双线性网络。此网络将部位建模和高阶特征表达进行有机结合,通过设计语义分组约束的分组双线性模块,增强了隐式部位特征的语义表达能力,同时降低了高阶特征的维度,使其可被高效集成于深度网络多层结构中。在上述两项工作中,所提出的方法均有效提高了模型的表达能力,在细粒度识别任务上取得了显著的提升。在部位信息的生成式学习方面,本文研究如何在生成对抗网络中学习并利用部位信息,并提出了一种语义感知网络。具体地,此处延续对部位隐式学习的研究,并将其拓展到图像生成任务中,发现通过对生成网络的隐空间进行语义解耦,可以有效简化隐空间到图像空间的映射,助力合成高质量图像,并实现对生成图像中特定语义部位的控制。此工作中设计的语义解耦模块和语义信息融合模块,可以有效提取并利用生成网络中的部位信息,从而建立语义部位可操控的图像生成模型。