人脸表情是人类情绪的表达,人脸表情识别在人机交互、机器视觉、安全监控、谎言检测、健康护理等方面均表现出广阔的应用前景。基于人脸图像/视频的自动表情识别也就成了情感计算、图像处理与模式识别领域的重要研究课题之一,在过去几十年中一直受到研究者们的高度关注,特别是以深度卷积神经网络为代表的深度学习在图像识别领域的巨大成功,更激发了基于深度学习的表情识别研究新热潮。但是,人脸表情识别方法推向应用时,还面临许多挑战性问题需要解决。本文面向表情识别应用中需要解决的自发表情识别、面部特性对表情识别的影响、表情强度的分级等问题,研究了基于深度卷积神经网络的表情识别新方法,取得的主要创新性成果如下:（1）基于深度迁移学习的自发表情识别方法。现有表情识别方法大多基于人为表情数据集进行分类器训练,因此,难以有效识别实际应用环境中的自发人脸表情。针对这一该问题,本文首先提出一种基于垃圾图像过滤模型和互联网图像的自发表情数据集构建方法,考虑到该数据集进行深度学习时训练数据量仍不够充足,进一步利用现有网络模型采用深度迁移学习方法进行自发表情识别。在CK+标准数据集及自建表情数据集上的实验结果表明,利用深度迁移学习可提高网络模型的表情识别率,并且VGG-face和Res Net集成网络效果最好。所训练的网络也是本文后续工作的基础。（2）基于混合深度网络多任务学习的个性化人脸表情识别方法。现有表情识别方法很少兼顾不同人的人脸表情的差异性问题,因此,难以有效实现个性化人脸表情识别。针对这一问题,本文将不同人的人脸表情识别问题转化为不同人、不同表情的大规模多任务分类问题,并提出了一种基于混合深度卷积神经网络多任务学习的个性化人脸表情识别方法。首先将多个基础网络融合成有更多维输出的混合深度网络,以解决大规模分类问题;其次,通过层次聚类实现任务组自动生成并优化组间任务的重叠百分比,使相似性高的表情图像能协同训练;然后,以端到端的方式共同学习所有基本深度卷积神经网络和门网络,以提高网络对相似人脸表情图像间的分辨力。实验结果表明,所提出的方法可有效进行大数量人群的个性化人脸表情识别。（3）基于深度多任务层次分类的多粒度表情识别方法。现有表情识别方法一般仅将表情分为基本表情,很少考虑不同人脸脸型对表情识别的影响,以及表情的不同强度问题,因此,难以满足实际应用中对表情强度的准确区分需求。针对这一问题,本文提出一种基于多任务分层深度网络的多粒度表情识别方法。首先,为了减小人脸脸型对强度分级结果的影响,提出一种基于深度卷积神经网络（Deep Convolutional Neural Networks,DCNN）多任务层次分类的表情识别方法,利用人脸脸型属性标签共同学习更具辨识力的深度表情特征,从而减弱面部形态对表情识别的影响;其次,提出了一种基于多粒度分类概率组合的表情强度分级方法,通过将表情粗分类和细分类结果进行概率组合,以提高对相邻表情强度级别间的区分度。实验结果表明,本文提出的方法在自发表情和面瘫表情数据集上有效地提高了人脸表情识别率;在UNBC-Mc Master肩部疼痛数据集上的实验结果表明,本文提出的方法较现有对应的深度网络方法提高了疼痛程度分级准确率。