论文部分内容阅读
人脸表情是一种能够表达人类认知、情绪和状态的手段,准确有效的人脸表情识别在促进自然和谐的人机交互中起着重要作用。目前依赖于面部纹理分析的2D面部表情识别方法在很大程度上依然受到光照和姿态变化的影响。近年来,随着3D数据采集设备的快速创新,3D技术被认为是实现鲁棒面部表情分析的一种很有前途的方法。3D数据对光线不敏感,并且不受姿态变化影响,这是更鲁棒的面部表情识别处理所需要的。本文研究了如何使用卷积神经网络实现对三维人脸表情的高效分类。主要研究工作如下:1、提出一种新的深度特征融合卷积神经网络(CNN)模型,学习三维人脸不同特征的组合关系和权重。首先计算三维人脸点云的法向量和曲率等属性特征。然后结合不同的人脸属性特征,通过微调深度特征融合CNN子网来学习三维人脸特征,结果表明深度、法线和纹理特征融合在一起的识别率最高,达到79.17%。2、针对传统方法中需要对点云数据进行重采样,增加了算法复杂度的问题,本文利用共形映射算法将人脸三维模型转换为与属性信息(颜色、面和顶点之间的连接关系)相关的二维特征图,并将其作为神经网络的输入。最后通过特征可视化对比了使用共形映射算法得到的2D特征图和二维纹理图像的表情分类情况,证明了所提算法的优点和有效性。3、提出了一种新的基于迁移学习的CNN模型(CTL-CNN),学习通过共形映射得到的三维人脸数据的二维属性特征。实验使用BU-3DFE数据库,结果表明本文所提方法在子集I中达到92.50%的识别率,在子集II上的识别率为89.58%。