由于人脸分析具有广泛的应用前景，该研究在近些年来得到了越来越多的关注。目前的人脸分析的工作主要都针对可见图像。而光照变化影响可见图片的外观特征，因此，基于可见图像的人脸分析方法对于光照的变化不具有稳定性。与可见图像不同的是，热红外图像记录的是人脸的温度分布，对光照的变化具有鲁棒性，因此研究人员开始关注基于热红外图像上的人脸分析。尽管热红外图像有它的优势，红外图像也有一些可见图像所没有的缺点，如:易受周围环境的温度的影响等。因此，融合可见图像和热红外图像的人脸分析有可能充分发挥两种图像的互补作用，具有重要的理论和现实意义。　　 本文针对可见图像以及红外图像各自的优缺点，研究了融合可见图像和红外图像的人脸分析，并提出使用特征学习的方法学习红外图像的特征。具体研究内容如下:　　 (1)提出基于多次运行遗传算法的融合可见和红外图像的自发表情识别方法。首先，对于可见图像，提取了主动外观模型的参数和三维头部运动特征来描述可见图像，而对于红外图像，提取了温度的统计特征;其次，提出基于多次运行遗传算法的融合方法来为构造K近邻分类器选择一个相似性度量函数和相关特征的最优组合。最后，在USTC-NVIE自发表情数据库上的实验表明了提出的方法能够搜索到合适的相似性度量函数和相关特征。实验还表明融合方法相对于只使用可见特征的方法的优越性。实验结果表明嘴部和脸颊区域的温度变化信息相比于脸部其它区域信息对于识别自发表情似乎更可靠。　　 (2)提出决策层融合和特征层融合可见和红外图像的自发表情识别方法。首先，分别对可见图像和红外图像提取了特征;其次，使用基于F值的方法进行了特征选择;然后，对提出的两种分别用于决策层融合和特征层融合的贝叶斯网络进行参数化。在USTC-NVIE自发表情库上的实验表明两种方法均提高了表情识别的识别效果相比于单独使用某一种特征（可见特征或者红外特征）时，特别是对于恐惧表情。　　 (3)提出显性和隐性融合可见和红外图像的性别识别方法。首先，从可见图像中提取了AAM特征来描述人脸，从红外图像中提取了温度统计特征。然后，根据F值对提取的特征进行排序和选择。其次，我们提出使用贝叶斯网络分别显性和隐性的融合可见特征和红外特征。对于显性融合，使用特征层融合和决策层融合两种方法来融合可见图像和红外图像，在USTC-NVIE自发表情库和Equinox人脸库上的实验结果表明两种显性融合方法相比于单独使用某一个模态的信息对于性别识别效果都有提高。对于隐性融合，利用贝叶斯网络使用一个模态的信息作为特权信息来辅助使用另外一个模态的信息进行性别识别，实验结果表明了它们的有效性，这对于实际应用是非常有意义的。实验中特征选择的结果还表明脸颊和额头区域的红外特征对于性别识别相比与其它脸部区域更为重要。　　 (4)提出采用深度玻尔兹曼机(Deep Boltzmann Machines，DBM)的红外特征学习方法，并将其应用于基于红外图像的表情识别。首先，从红外图像中定位出人脸并对其进行归一化。然后，提出一个由一个高斯受限玻尔兹曼机和二进制受限玻尔兹曼机组成的DBM人脸模型。在训练好DBM模型之后，调整模型用来进行表情识别。为了验证提出的方法的有效性，本章在从USTC-NVIE库中挑选出的样本上进行实验，实验结果表明了基于DBM的方法相比于其他基于工程特征方法的优势。得益于DBM模型的生成性，一些阻碍表情识别的不好因素也能够得到一定程度上的修复，如头部的旋转和因头发造成的遮挡。实验中还分析了不同的人脸区域对于红外表情识别的影响。结果表明了额头、嘴巴以及脸颊区域的信息相比于脸部其他区域信息对于区分厌恶、恐惧和高兴更为重要。