人脸表情做为一种常规且重要的情感交流表达方式,对其进行识别的智能技术也是人机交互的重要基本组成部分,在医疗、驾驶、教育等领域上发挥着重要作用,因此,对于人脸表情的识别研究一直都是学术界的热门课题且意义重大。在众多的的学习模型中,基于深度学习的模型是运用最为广泛的主流学习模型,其中又以卷积神经网络最为突出,在表情识别中取得了很好的效果,它能够自动取提取图像的表情特征,再加上神经网络本身不错的分类效果,卷积神经网络可谓是图像识别领域中强有力的“利器”,但传统的卷积神经网络的缺点就是网络层数多、参数量大,进而造成了计算量大、梯度消失和预测率下降等,为了解决这些问题,本文进行了相关的研究,主要工作如下:（1）对本次研究用到的数据集CK+和RAF-DB做了图像的归一化处理以及数据增强,将原本的数据集扩大了10倍,保证了网络的泛化性以及训练的可靠性。（2）基于经典的VGGNet,设计了一种改进的E1-VGGNet网络。对于VGGNet最后面的三个全连接层,首先是剔除了其最后的两个全连接层,只保留一个,然后在最后的卷积层和全连接层之间引入了全局池化操作,其主要任务是将输入的通道图并行进行最大和平均的全局池化操作以此得到两个新的特征,再将其连接在一起,做为最后的分类层的输入特征,这样减少了参数量并且保证了性能不会下降。同时在卷积层和全连接层分别引入Drop Block和Drop Out正则化策略,防止了网络在训练过程中可能出现的过拟合情况的发生。除此之外,为了解决在网络层输入时可能出现的一种数据分布偏离导致的梯度消失问题,在每个卷积层后做了批量归一化操作。最后通过实验分析得到了当size Block7＿（28）的时候,E1-VGGNet的识别率最好,在CK+和RAF-DB上分别取得了95.52%和82.85%的识别率。（3）基于残差网络,设计了一种改进的分组混合残差网络E2-Res Net。此次设计利用残差结构去替换掉传统的“排队式”传播结构,以此来控制梯度消失、网络退化问题。其次引入了分组卷积减少参数量,最后再把卷积层输出的特征图进行重新混合,以此来融合各个卷积层中分组卷积后的信息数据,使得表情特征相互联系,同时引入全局池化、批量归一化、Drop Out和Drop Block操作。经过实验,分析得到采用分组数为4的E2-Res Net效果最好,在CK+和RAF-DB上分别取得了96.12%和83.87%的识别率。（4）基于集成思想,设计了两种以E1-VGGNet和E2-Res Net为子网络的集成网络E3-Ensemble Net和E4-Ensemble Net,其中E3-Ensemble Net采用了平均学习法的集成策略,经过实验,分析得到采用加权平均的效果要优于简单平均,权重分别赋予E1-VGGNet和E2-Res Net以0.46和0.56时效果最好,在CK+和RAF-DB上分别取得了97.34%和85.11%的识别率。E4-Ensemble Net采用了Stacking集成策略,经过实验,在CK+和RAF-DB上分别取得了97.71%和86.01%的识别率,证明了集成网络性能要优于单个网络。