人脸表情是一种主观的心理情绪体现,广泛应用于社交和直播等各个方面。近年来基于深度卷积神经网络的人脸表情识别算法获得长足的发展。但是网络在提取表情特征时,常常受到人脸其他因素包括身份、年龄、性别等的影响。并且人脸表情特征分布类间距过小,类内距过大,不满足分类任务的要求。针对这两点问题,本文进行了研究。本文提出一种端到端的身份和表情特征联合提取方法。假设人脸只包含身份信息和表情信息,通过刻画身份特征和表情特征的相关性,探讨身份信息对表情识别的影响。假设人脸身份特征和表情特征正交,通过多损失训练策略,在大规模人脸表情数据库上,仅依靠表情标签,同时提取身份信息和表情信息。其中,互信息损失用于保证人脸特征的唯一和完备,相关性损失用于约束身份和表情特征的线性不相关性,分类损失使用表情标签进行表情分类。将得到的身份特征用于身份验证,得到的表情特征用于表情分类,在多个数据集（LSFED、LSFED-G、LSFED-GS、LSFED-GSB、Ra FD和RAF-DB）上取得了优异的效果。本文提出一种基于类间关系学习和分层双线性池化的人脸表情识别方法。人脸表情识别常用Softmax损失训练网络,然而softmax函数只要求不同类别的特征分开,对分开的程度没有要求。因为表情受文化背景和教育环境等影响,不同人的同一表情表现形式不同,表情特征在特征空间上会出现类间距小,类内距大的问题。为了隐式约束特征分布并增强特征表达能力,首先,选择两个不同类别的人脸表情图像,生成一个随机比例的混合表情特征图。然后将混合表情特征图输入到带有注意力机制的分层双线性池化模块,集成层与层间的语义信息,进一步提高分类性能。最后训练模型输出混合比率。算法在多个公开数据集上（CK+,Oulu-CASIA、SFEW和RAF-DB）取得了优异的表情识别效果。