作为人机交互系统（HCI）中的一个重要组成部分,表情识别算法受到了广泛的关注与研究。近年来,基于深度神经网络的人脸表情识别方法为准确识别人脸表情提供了有效的解决方法,而传统机器学习方逐渐被替代。基于深度学习的表情识别方法的研究主要关注两个方面。1)从图像中提取有效的特征的方法,和2)深度网络结构针对表情识别领域的优化。然而,这些深度学习存在对特征之间的语义联系和算法复杂度的忽视的问题。这导致它们的可解释性较差、泛化能力差以及计算资源需求大。针对这些问题,本文结合传统特征提取,频域处理,和图深度学习等技术,研究提高人脸表情识别算法的总体性能的识别方法。本文针对这些问题提出的方法如下:（1）针对深度卷积神经网络的高计算复杂度和高容量问题,设计了一种基于频域深度学习的轻量级深度学习框架。本文首先利用表情的动作单元分布设计出归一化矩形特征作为人脸表情的特征表示和后续模型的输入。随后本文利用频域上的卷积滤波定理设计了对频域转换后的数据进行快速卷积滤波的乘积层,然后与常用的神经网络层一起构建了频域乘积网络（FMN）用于频域上高效的表情识别。（2）针对现有基于深度学习的表情识别方法中低可解释性和特征间缺乏语义联系的问题,设计了一种基于语义图的表情识别方法。其中,本文首先将表情转化成图结构表示,然后设计了时空图语义卷积网络（STSGN）来对表情中人脸特征的动态性和共现性进行建模,提取深度图特征后进行表情识别。（3）针对上一个方法中预定义的静态图拓扑结构带来的低鲁棒性问题,提出了一种基于动态图结构的表情识别算法。本文首先扩展了图卷积的方法并设计了一种基于自监督学习的图拓扑结构推理的网络组件。然后扩展了上一个方法中所提出的时空图卷积网络来对动态的图结构进行处理和表情的识别。通过分析一系列的对照实验和外部对比实验的结果,可以认为本文所提出的频域深度学习方法可以在有效降低模型容量和计算复杂度的情况下,提高表情识别的准确率并且减少模型训练所需要的时间。其次,基于图结构的深度学习方法由于利用了人脸特征的语义联系,使得网络构造的表情特征具备轻量化、高泛化性和高可解释性的优势。最后,基于动态图结构的表情识别模型可以进一步克服在野外环境下和在受遮挡环境下的表情识别难题。