论文部分内容阅读
针对人脸的静态图片不能描述表情动态信息的局限性,提出了一种基于注意力机制的视频人脸表情识别算法。首先,为了减少图像特征在处理过程中的损失,在VGGNet16模型的侧方添加一系列卷积核,形成一个双向监督模块,同时利用上采样、下采样对各个侧输出层的特征图进行加权融合改进;其次,利用改进后的VGGNet16模型提取视频序列图片的空间特征与使用光流法提取图片中的时间特征进行融合;然后,使用注意力机制对其进行特征加权,在LSTM网络中对加权后的特征进行训练和分类;最终,该模型在AFEW数据集和CK+数据集上的