目前的二维人脸识别系统在受控条件下能取得很好的性能,但在光照、姿态、表情等因素影响下性能将急剧下降。三维人脸识别可以克服或减轻这些因素的影响。融合二维和三维信息的多模态人脸识别可望取得更好的识别效果。本文对三维及多模态人脸识别的若干算法进行了研究。首先提出了一个基于迭代对应点(ICP)的三维人脸识别方法。先通过聚类算法去除人脸点云的局外点,再以鼻尖为中心提取感兴趣区域,并变换到姿态坐标系进行粗略配准。利用人脸对称性填补孔洞,提高了人脸数据的质量。再用ICP算法进行精细配准,采用最近邻分类器进行分类。实验结果表明该方法能够处理一定程度的人脸姿态变化,即便人脸数据的质量不高,仍能取得较好的识别效果。提出了一种将三维局部二值模式(3DLBP)和广义判别分析(GDA)相结合的三维人脸识别算法。将人脸深度图像分成多个区域后,采用3DLBP算子从各区域提取直方图特征,并将各区域3DLBP直方图连成一个向量,作为人脸深度图像的特征,采用改进高斯核函数的GDA作为分类器。实验结果表明,3DLBP和GDA结合的识别率要优于PCA和3DLBP。采用多种方法对人脸深度图像和灰度图像进行融合。对LBP算子和局部Gabor二值模式(LGBP)算子进行了详细的比较。实验结果表明LBP和Fisher判别分析(FDA)方法的结合要优于其它方法,在其融合人脸深度图像和灰度图像后,性能较单一信息有进一步的提升。基于LGBP的各方法与基于LBP的相应方法相比,在计算量和存储量上要大很多,但在性能上却没有优势。提出了一种基于LBP和级联AdaBoost的多模态人脸识别方法。采用级联AdaBoost方法分别从人脸深度图像和灰度图像的大量区域LBP直方图(RLBPH)中选取最有利于分类的RLBPH,并连接成一个直方图向量。分别用FDA构建线性子空间,再用多种方法进行融合。实验结果表明,级联AdaBoost选出的少量RLBPH特征取得了较好的识别效果,若增加特征数,则可进一步提高识别性能。