基于上下文感知的情绪识别即通过上下文来识别图片中人类的情绪,例如人头、人体和场景。情绪识别有着许多应用场景,包括:安防、游戏、教育、医疗和营销等。基于头部或者身体的情绪识别有很大的进展,近期学者们用多种上下文来进一步提升效果。当前的工作主要通过多支路结构,独立地从头部、身体和场景等上下文提取情绪特征。这样的策略在理解复杂的情绪上下文关系上有限制。根据一些的研究,当前的方法没有捕捉到时序关系、交互关系和偏差关系,导致各支路预测的不确定性和特征的次优性。为解决以上问题,我们对现有的情绪识别算法进行一定的改进和创新,主要贡献如下:1.对于时序关系,本文提出简易的可插入的上下文时序模块（SCM）。受到循环神经网络的启发,SCM使用循环情绪特征和门控机制来捕捉上下文时序信息。在现有多支路结构的基础上,我们增加循环情绪特征作为时序特征。该特征按照头部-身体-场景的次序将情绪从一个支路传播到下一个支路,使得网络能考虑到多个支路的时序关系。为了抑制上一个支路对下一个支路的噪声以及某个支路对整体的噪声,使用重置门和更新门来过滤无效的信息。最后,实验验证时序关系的重要性和模型的有效性。2.对于交互关系,本文提出简易的可插入的上下文交互模块（ICM）。受到非局部模块的启发,ICM使用全局相似加权融合的方式来捕捉上下文交互信息。在现有多支路结构的基础上,融合多个支路的特征作为交互特征。该特征由多个支路的特征拼接和线性组合得到,使得网络能同时考虑到多个支路的交互关系。为了压制其余支路的噪声和增强有效的特征,求取支路间的特征内积并采用相似性加权的办法融合多支路的特征。更进一步,对于某个支路而言,不仅加入它与其余支路的交互特征,还加入各支路两两之间的全局交互特征。最后,实验验证交互关系的重要性和模型的有效性。3.对于偏差关系,本文提出简易的可插入的上下文偏差模块（BCM）。受到标签分布学习的启发,BCM使用离散分布标签和绝对值损失来利用上下文偏差关系。在现有多支路结构的基础上,将各支路0-1标签的0值替换为高斯分布生成的概率值。这样的策略间接地增大所有类别的训练数据,特别有利于图片数量少的类别。为让网络更好收敛,三个支路采用绝对值损失作为损失函数。实验验证偏差关系的重要和模型的有效性。