人物社交关系是一种抽象且非直观的心理关系,其实质是反映人类个体之间的心理距离。在判断具体的社交关系时,往往是根据人类个体的状态、行为以及环境等线索推理出来的。视觉内容中的人物社交关系理解是研究如何判断视觉内容中的人物之间是否具有社交关系以及具体的社交关系种类,并用图谱的方式表示。目前,人物社交关系理解研究尚处于初级阶段,面临着以下几个挑战:1)如何精准地验证人脸图像对的亲属关系;2)如何自动地生成家庭合照中的家族图谱;3)如何从多源异构的人类个体属性特征中选择具有代表性的特征子集来提高识别人物社交关系的正确率;4)如何有效地借助人类个体属性信息来识别人物社交关系。针对以上问题,本文结合深度学习、度量学习、特征选择、知识蒸馏等算法提出了一系列的人物社交关系理解方法,具体的研究工作和主要成果包括:（1）提出了一种基于深度度量学习的亲属关系验证方法。在基于度量学习的亲属关系验证方法中,多数是应用浅层模型提取线性特征,而忽略了非线性特征。利用深度学习算法得到的非线性特征,具有更高的抽象性和语义性,更能刻画数据中丰富的内在信息。该方法将深度学习和度量学习相结合,在有效地利用非线性特征的同时,使得具有亲属关系的人脸图像对的对内距离尽可能小且不具有亲属关系的人脸图像对的对间距离尽可能大。与浅层模型相比,提出的基于深度度量学习的模型显著地提高了亲属关系验证的正确率,说明了该模型有效地利用了非线性特征来验证亲属关系。（2）提出了一种基于深度学习的家族图谱生成方法。目前,多数亲属关系理解方法是以人脸图像对作为输入,以判断人脸图像对是否具有亲属关系作为主要任务。在这项工作中,我们将输入从人脸图像对扩展至家庭合照,将主要任务从仅判断是否具有亲属关系扩展至判断是否具有亲属关系的同时识别具体的亲属关系。具体地,首先提出了一个深度亲属关系验证模型利用具有亲属关系的人脸图像之间的相似性来验证家庭合照中每对人脸图像的亲属关系;然后提出了一个深度亲属关系识别模型利用属性信息来识别其具体的亲属关系;最后提出了一个家庭图谱推理模型利用亲属关系规则来生成最合理的家族图谱。在三个具有家庭结构的亲属关系数据集上验证了该方法基于亲属关系验证和识别任务的优越性能。其中,家庭图谱推理模型大幅度提高了亲属关系验证和识别的准确率,说明了提出的家庭图谱推理模型有效地利用了亲属关系规则来推理出最合理的家族图谱。（3）提出了一种基于特征选择的社交关系识别方法。人物社交关系是一种抽象且复杂的心理关系,一般难以仅从图像外观直接地观察出人物之间具体的社交关系,通常是根据人类个体的年龄、性别、表情、动作等属性线索进一步推理出具体的社交关系。多源异构的属性特征存在冗余和噪声,在训练模型时可能会导致过拟合、低效率等问题。为了解决以上问题,该方法设计了一种特征选择算法,通过学习稀疏加权矩阵从多源异构的属性特征中选择具有代表性的特征子集。在基于人脸和身体属性的社交关系识别任务上取得了优异的成绩,说明了提出的特征选择方法有效地去除了噪声和冗余信息。（4）提出了一种基于知识蒸馏的社交关系识别方法。获取并标注与社交关系相关的人类个体属性的标签需要花费大量成本,现有的社交关系数据集均未提供相关人类个体属性信息的标签。在缺少人类个体属性标签的情况下,该方法利用知识蒸馏算法将已训练的人类个体属性分类模型的知识迁移至社交关系识别模型,使得学习得到的特征表示保留人类个体属性的知识。在基于人脸和身体属性的社交关系识别任务上,该方法高效地利用了人类个体的属性知识,获得了优越的识别性能。此外,提出的模型结构具备较强的灵活性和可扩展性,可以搭载目前很多主流神经网络模型,以实现借助辅助任务模型来提升原任务模型的性能的目的。