人的面部表情蕴含着丰富的情感信息,也是人们除了语言、文字、声音之外比较重要的沟通方式。现在大多数针对人脸表情识别的研究都是针对正面人脸进行,然而正面人脸表情是对表情理想化的表达。现实生活中,采集设备可能会从各个角度捕捉表情数据。因此,针对多角度人脸表情图像进行识别,提出鲁棒性更强的人脸表情识别算法,在人机交互领域有着重大的意义。由于公开的多角度人脸表情库较少,以及算法方面的限制,针对多角度表情识别的研究十分有限。现有的多角度人脸表情识别方法包括针对每个角度训练不同的分类器,或者用一个单独的分类器学习所有的角度。然而,这些方法忽略了不同角度的人脸表情仅仅是相同表情的不同表现。因此,本文在研究正面人脸表情识别的基础上,提出了用神经网络进行特征映射的方法,将多角度表情特征映射为正面表情特征再进行分类,提高了多角度表情识别中角度方面的鲁棒性。主要工作有以下几个方面:首先,介绍了人脸表情识别的研究背景和意义,从人脸检测、特征提取和分类识别三个方面,总结了人脸表情识别的研究现状,并研究了目前现有的正面表情识别与多角度表情识别算法,在比较分析了各种算法的优缺点后,确定了用特征映射解决多角度表情识别问题的思路。并进行了人脸检测、图像预处理等工作,选择了对方向和尺度不敏感的金字塔式梯度方向直方图特征作为本文的特征。第二,设计实现了多角度人脸表情识别中的特征映射方法。RBF网络不仅结构简单,还有着较强的非线性映射能力和自学习能力,特别是局部逼近能力和学习速度表现优异。因此本文选择了径向基神经网络进行多角度表情特征到正面表情特征的映射工作。第三,设计了多角度人脸表情识别的算法框架,在提取的PHOG特征的基础上,研究了k近邻分类器与稀疏表示分类器,并分析了融合的k近邻稀疏表示分类器。实验对改进前后的稀疏表示分类器的平均识别率与运行时间都进行了比较,结果表明,k近邻稀疏表示分类器在大大减少运行时间的同时,对人脸表情也具有一定的分类能力。第四,本文建立了山东大学多角度人脸表情数据库,该数据库包含了 10个人在7个姿态角度下的6类基本表情的彩色数据与深度数据,7个姿态角度用7个摄像头同时采集。此外,介绍了人脸表情识别中常用的几个公开数据库,包括正面人脸表情数据库CK+和JAFFE,以及多角度人脸表情数据库Multi-PIE,并在这些公开的数据集以及自建的数据集上进行了正面人脸表情识别以及多角度表情识别的实验。