人脸识别因其具有非接触性、良好的稳定性且其图像采集设备成本较低，已经被广泛应用于人机交互、安全监控、出入控制和公共安全等领域。但是传统的人脸识别技术通常使用二维彩色图像对人体脸部特征进行识别，易受外部的影响。借助微软公司开发的Kinect体感传感器，可以同时获取彩色和深度数据，为二维和三维的多模态人脸识别提供了支持。本文主要完成的工作如下：基于Kinect的二维人脸检测与识别。对获取的彩色信息采用高斯金字塔进行滤波和下采样，采用Haar特征和积分图对人脸进行特征描述，通过Adaboost算法训练强分类器，并采用筛选式级联方式将强分类联合，以便快速、准确地从背景中检测出人脸。在人脸识别时，利用局部二值模式对低分辨率人脸进行特征描述。实验证明，与主成分分析和线性判别分析算法相比，局部二值模式能明显的提高人脸识别的准确度。基于Kinect的三维人脸检测与识别。首先，通过骨骼追踪技术自动检测出人脸所在的位置，并采用区域生长法从带彩色信息的深度图像中自动分割出完整人脸区域。然后，利用移动最小二乘法对深度人脸图像进行滤波。最后，采用最近点迭代算法进行人脸识别。实验分析了阈值对最近迭代法的影响，并且探讨了点云数目对人脸识别率的影响。此外，本文还采用模糊积分对二维人脸识别结果和三维人脸识别结果决策融合。在VS2010平台上实现多模式人脸识别系统软件。