素描人脸识别是指以所提供的素描图像为示例在照片库中进行检索,确定待识别人的身份信息,在确定犯罪嫌疑人身份以及漫画人脸识别等中有着及其重要的价值。如何准确地匹配素描和照片图像成为该研究的关键。首先本文为了解决样本不足的问题,采用一种深度迁移学习的方法,在预训练模型上进行素描和照片的直接识别。之后为了更进一步的削减模态差异,本文在特征提取之前加入图像合成这一步骤。另外针对抽象程度更高的漫画素描人脸图像,本文利用集成学习的方法,在提取的底层特征和人脸语义特征上建立多个弱分类器,最后实现差异化选择集成。本文的主要工作如下:(1)提出了一种基于深度迁移学习的素描人脸图像识别算法。首先使用包含大量人脸自然照片的数据库图像对深度卷积神经网络进行预训练,获得网络的模型参数,将其迁移到用于素描图像识别的网络,再以待测试的素描图像库图像构成的三元组图像作为预训练模型的输入,训练模型,最小化自定义的损失函数以约束类内和类间的距离。实验结果表明,有效的迁移策略,能够很好的将素描图像的人脸识别准确率提高10%。(2)提出了一种基于条件生成对抗网络的素描人脸识别方法。首先将横向拼接的成对的素描和照片输入条件生成对抗网络中,训练模型,生成比较真实自然图像,然后将生成的自然图像和数据库中的自然人脸照片输入到深度卷积神经网络中提取深度特征,之后对特征进行相似度度量输出判别结果。实验结果表明,条件生成对抗网络能够将素描生成真实的照片,并且在素描人脸匹配之前加入图像合成这一步骤,其人脸识别率提高了11%。(3)针对更为夸张的漫画素描图像,提出了一种基于联合多层特征和多分类器集成的素描人脸识别算法。算法既使用传统的底层特征,也使用不受模态影响的人脸语义特征,并通过联合提取的多层特征,分别建立多个弱分类器,得到多个分类结果,在此基础上,通过投票表决的方法完成漫画素描的人脸匹配识别。实验结果表明,人脸的语义特征在漫画素描识别中占据很大的作用,相比于传统的底层特征,其识别率约提高了12%;集成的分类器也有效的提高了最终的人脸识别准确率,使用多样化的分类器要比只使用单一的分类器结果表现效果要好,基本上能够提高5%左右。