近年来,由于人口属性中的性别信息被广泛地应用在人口研究,内容索引,广告投放等领域,使用计算机视觉技术来识别性别属性的研究已经获得了极大的关注。但是现阶段基于可见光图像的传统识别方法,存在容易受光照变化和恶劣大气条件所限制的缺陷,在很多实际应用场景中达不到要求,这是亟待攻克的技术难点。在这些环境下如果转为使用红外线频段图像,那么就可以采集到所需要的图像细节信息,来克服复杂情况下的环境问题。在该类场景下采用红外线技术,就会与可见光识别技术的性能产生对比,这就涉及到了不同方法在多个光谱图像下的性能表现问题,即多光谱图像识别问题。该问题通常涉及相同图像在两个及两个以上的光谱成像。不同的光谱图像具有不同的特点,如可见光图像注重纹理特征而红外线图像更注重细节特征。该现象通常导致一种技术方法在单一光谱下的识别性能较高,而到了另一光谱下识别性能急剧下降;另一个常见的难题是一种技术方法在面对相同光谱下不同数据库时性能的急剧下降,即识别方法的鲁棒性问题。本文针对以上问题在多光谱人脸图像性别识别以及跨数据库性别识别领域,总结回顾了一些经典主流方法并做了一些创新性工作,具体包括以下几个方面:(1)本文研究了基于 LBP(LocalBinary Patterns)、HOG(Histogramof Oriented Gradients)、SIFT(Scale-invariant feature transform)传统手工特征算子以及卷积神经网络的人脸性别识别方法。LBP、HOG、SIFT是将人脸图像采用各自的特征算子进行特征提取,根据得到的特征向量搭配分类器进行性别识别。主流的卷积神经网络是通过卷积层、池化层进行特征提取,全连接层进行识别分类。为了验证各方法的优缺性,我们使用了同一数据库下相同的光谱图像进行了性别识别实验,结果表明卷积神经网络方法在多光谱人脸图像性别识别领域下比传统手工特征提取算子的识别性能更好,精度更高,鲁棒性更强。(2)面对传统方法在多光谱人脸图像性别识别领域中识别性能提升有限的情形下,本文提出使用深度学习技术,在卷积神经网络的基础上,加宽网络结构,加深网络层数。研究了 VGG(Visual Geometry Group)、InceptionNet、ResNet 在进行多光谱人脸图像性别识别实验的优缺点,提出了基于多尺度卷积神经网络用于人脸图像性别识别的新方法,设计了新结构IR-Gender V1进行多光谱人脸图像性别识别。结果表明本论文的多尺度卷积神经网络IR-Gender V1相比于其它深度学习方法在同一数据库下的收敛速度更快,识别精度更高。(3)本文针对跨数据库的鲁棒性问题,研究了在深度学习方法当中进行迁移学习,来确保多光谱人脸图像性别识别性能保持的可行性。传统的识别方法,大多依赖于手工设计的特征提取算子,往往在跨数据库的表现上表现不佳。本文在采用多尺度卷积神经网络的基础上,通过迁移学习,对在单一数据库表现优异的深度网络进行结构拼接,参数迁移。让实现迁移后的新网络结构IR-Gender V2尽量保持之前两个网络结构的优点,即特征提取的能力与鲁棒性强的优点。实验表明,在多光谱人脸数据集TINDERS和CASIA上,IR-Gender V2该网络在识别性能上不仅优于传统的特征提取算子,并且在VIS跨数据库性别识别中达到86.75%的准确率,高于深度学习网络ResNet的82.69%准确率,在NIR下的CASIA数据库性别识别中达到97.75%准确率。其综合识别性能上比之前单一的深度学习网络结构更好,识别精度更高,具有较强的现实意义。