作为一种生物特征识别技术，人脸识别已经成为模式识别和计算机视觉领域中最具挑战性的研究课题之一，它在信息安全、人机交互、身份认证等领域有着非常广阔的应用前景。基于隐马尔可夫模型(Hidden Markov Model, HMM)的人脸识别方法，不仅能够考虑到人脸各个器官的数值特征，而且还兼顾了人脸的整体结构，因而取得了比较好的识别效果。本文首先针对HMM方法在特征提取方面的不足进行研究，采用局部特征描述算子从图像中提取较为鲁棒的特征信息，并将其作为观察向量对HMM进行训练和识别。文中分别研究了基本的局部二值模式(Local Binary Pattern, LBP)算子和三种改进局部二值模式算子：多阈值局部二值模式(Epsilon Local Binary Pattern,εLBP)，增强局部二值模式(Improved Local Binary Pattern, ILBP)和局部差分模式(Local Derivative Pattern, LDP)。相比主成分分析、离散余弦变换和奇异值分解的特征，采用局部特征信息作为观察向量更加具有分类性和灵活性，且避免了因降维造成的局部重要信息的丢失。实验表明，基于局部特征描述的HMM人脸识别方法在表情、姿态和光照变化下均达到比较满意的识别率。其次，本文从信息融合的角度对上述HMM做了进一步研究。传统的HMM算法能够利用重叠采样得到的观察向量建立起高精度人脸模型，但训练和识别时间较长。本文在非重叠采样的方式下，采用多阈值局部二值模式或者局部差分模式作为特征提取手段，将不同特征子空间中的局部特征通过典型相关分析进行融合，并将融合后的特征向量作为HMM的观察向量。实验证明，改进后的方法在保证一定识别率的同时，大大提高了训练和识别效率。