随着互联网教育与人工智能领域的蓬勃发展,情感识别技术逐渐成熟并融入到教育教学领域。由于现有的教学模式存在重“知”轻“情”的问题,学习内容、学习线路和知识解答等均是根据学习者的认知水平与知识储蓄状态设计与确定,却缺少情感对学习者与学习活动影响的考虑,鉴于此基于情感识别的智慧教育便应运而生。通过识别学生情感状态,能够及时有效地应用教学策略,引导调控学生消极的情感状态,激发学生积极的情感状态,提高学生在教学过程中的学习绩效。学习者高兴、幸福等积极的情感能够影响和调节注意、知觉、表征、记忆、思维和语言等认知活动,从而能够有效的激发学习者学习动机和提升学习者的学习兴趣;学习者悲伤、忧愁等消极情绪,对学习者的耐心度与注意力等有着抑制作用,降低学习者学习热情。本研究以学习者人脸表情与语音双模态情感为切入点,关注课堂情感调节策略促进学生学习状态的问题。通过文献梳理与实验考察,学习者在教学情境中的情感主要包括正常、高兴、悲伤、惊讶四种。本研究在混合式学习环境中进行,与教师相配合展开实验,分别在线上自主学习和线下教学实现情感的识别和干预。利用语音和情感识别工具及软件,并且通过双模态融合,最终提高识别的准确性,然后对于课堂环境中学生的情感变化,采用不同的教学情感干预策略进行正面引导,最终实现对情感识别系统的评估。本研究的内容主要包括以下三个方面:首先,情感识别工具的选择与设计。根据对已有的情感分类与实验检测结果完成对学生情感的分类,利用Lily Emotion语音情感识别软件实现对语音模态的情感识别,根据Dlib库与Opencv库对人脸特征点的识别与标记,代码实现对各特征点之间的欧氏距离的计算,实现人脸表情识别。选用决策层融合的方法,根据双模态情感判定结果将双模态情感进行融合,若判定不一致时,如其中一个模态情感判定为正常,另一模态情感判定为悲伤或高兴时,则认为正常为中性情感,情感融合为悲伤或高兴。其次,情感干预策略。针对混合式教学中学生出现的情感,设计情感干预策略,包括鼓励性评价策略、有效课堂提问策略和放松与激发策略,根据干预对象的不同,可分为全体干预、部分干预和个体干预,共设计九种情况下的具体情感干预措施,可供教师依据课堂情况进行选择应用,进行情感干预,配合教师根据学生情感状态进行干预实验,统计并记录实验结果。最后,分别对混合式教学环境下学生的情感状态进行识别实验,根据识别结果与干预目标进行情感干预,完成干预后进行学生情感识别,验证干预策略的有效性。如学生情感识别结果为班级大部分学生为消极情感,则采用针对班级整体进行干预的激发与放松策略,干预后再次进行识别发现,学生消极情感大幅度下降,班级整体情感趋于平和的状态,教学情感干预对学生情感状态的改善与调节有明显的实用性。将情感识别融入到教学中,证明是一种有效的教学手段,对个体和整体学习情感达到监控,调节和改善的作用。