近年来,随着人们对人机交互兴趣的增加,表情识别逐渐成为一个研究热点。人脸表情识别是指利用计算机分析特定人的脸部表情及变化,进而确定其内心情绪或思想活动,实现人机之间更自然更智能化的交互。人脸表情识别的研究对于增强计算机的智能化和人性化,开发新型人机环境,以及推动心理学等学科的发展,有着重要的现实意义,并最终产生很大的经济效益和社会效益。本文首先综述课题的研究背景,并分析目前国内外已提出的主流人脸表情识别方法。在综合分析了以往的表情识别方法的基础上,本文主要研究了人脸表情特征提取、融合特征识别过程中的一些关键问题,提出了一些改进方法,并通过实验进行了有效性验证。本文的主要工作如下:(1)提出了基于MLBP-TOP的表情特征提取方法。该方法对基本LBP-TOP特征算子进行改进,根据LBP-TOP中不同平面表情信息的差异性,三个交面的特征被划为两类,分别采用差分二元局部模式和中心化二元模式,以提取表情的时域信息和梯度信息,作为混合二元局部模式MLBP-TOP(Mixed Local BinaryPatterns From Three Orthogonal Panels)特征。(2)提出了基于自动标注特征点的光流特征提取方法。该方法通过Harris角点检测方法检测人脸图像的左右嘴角点,Robert算子和水平投影法检测上下唇角点,通过曲线拟合方法拟合出四个新的角点,以这些点作为Lucas-Kanade光流法跟踪的源点,计算嘴巴子区域的光流场,并对所有特征点进行跟踪,将所有点的水平和垂直位移大小作为特征向量。(3)提出了基于多特征与多离散HMMs的人脸表情融合识别方法。由于表情图像中各个表情区域对识别每类表情的贡献不同,该方法对于眼睛眉毛区域采用MLBP-TOP提取纹理特征,对于嘴巴区域采用自动标注特征点的光流法提取形状变化特征,同时在表情样本训练时采用贡献分析法分析确定不同表情区域特征对六种表情各自的贡献权值;在分类识别阶段,首先分别采用离散HMMs对每个区域计算表情概率,最后采用训练阶段得到的权值进行加权融合得到识别结果。(4)采用面向对象的设计方法,设计实现基于图像序列的人脸表情识别原型系统,并从实验角度验证上述方法的有效性。