互联网的发展深刻地改变了我们的生活的各个方面,也改变了我们的学习方式。我们的学习不仅仅受限于书本、教室和老师。我们既可以在教室学习也可以在线上学习。然而网上学习平台的辍学率却非常高,传统大教室的教学效果也并没有小班教学或者一对一效果显著。究其原因是由于在这些学习环境中,教师与学生之间的良好交流状态被切断,学生学习时的参与情况和专注情况并不能及时地反馈给老师。因此,我们发现识别课堂学生专注度无论对于传统的教室教学还是线上课程的学习都具有十分重要的意义。学生专注度反映了学生上课时的专注程度,对所学知识点的接受程度和感兴趣程度。他与学生的学业表现息息相关,对于减少网上教学平台的辍学率、个性化设置在线课程等具有十分重要的意义。现有的学生专注度的识别有基于问卷的方法、基于传感器设备的方法、基于点击流的方法和基于视频数据的方法。然而基于问卷的方法和基于传感器的方法虽然简单直观,但是并不能推广到大规模的在线课堂。基于点击流的方法关注的是学生在线课程中是否辍学或者完成学业这个结果,忽略了学习的中间过程,而且也不能应用到传统的教学环境中。基于视频的学生专注度识别是近年来学生专注度识别领域的新趋势。基于视频的学生专注度识别方法利用机器学习和深度学习等方法对学生的学习过程进行分析。现有的基于视频的学生专注度识别方法主要分为基于二维卷积的方法和基于三维卷积的方法。二维卷积虽然在图片分类上已经取得了登峰造极的效果,然而其天然结构上的缺失使得其难以对三维的视频数据的时序进行建模分析。三维卷积依靠结构上的优势虽然可以同时对学生专注度的视频进行时空信息的建模,但是也因此三维卷积的体量却变得异常庞大,相对于拥有相同层数的二维卷积,三维卷积有更多的参数需要训练。基于这样的背景,本文探讨一种基于混合卷积模式的学生专注度识别方法。所谓混合卷积就是在同一个卷积网络中同时使用二维卷积和三维卷积。混合卷积克服了纯二维卷积模型难以对时序建模的弱点,同时也避开了纯三维卷积模型参数数量庞大难以训练的缺点。结合学生专注度领域存在的问题:如数据集规模小、数据不均衡、光流信息弱、专注度持续时间短、视频光线照明变化大,本文提出基于混合卷积的学生专注度自动识别模型(HDC-ASER),主要完成的工作如下:1.提出基于混合卷积网络的学生专注度自动识别模型,该模型克服纯二维卷积网络和三维卷积的缺点。并在学生专注度识别领域的数据集取得了高于benchmark的成绩。其中四分类结果为60.2%,二分类结果为97.6%。2.考虑到专注度领域数据光流信息弱,帧与帧之间存在大量的数据冗余,本文经过合理的帧采样频率设置和三维卷积核大小设计。得到了针对学生专注度识别数据集的最佳采样频率和最合适的混合卷积结构。3.考虑到学生专注度领域数据存在严重的数据不均衡,本文将针对于二分类数据不均衡的focal loss推广到多分类,引入多分类的focal loss损失,解决了学生专注度领域数据集严重数据不均衡的情况。4.针对于学生专注度视频中学生学习时的背景环境变化大,如照明条件跨度大,背景多而且杂。本文通过了数据增强等手段克服了上述问题。使得预处理之后的数据能直接放入模型中进行学习。5.为了证明本文提出的模型具有可拓展性和实用性。本文也将HDC-ASER模型在情绪分类数据集AFEW视频数据集上进行训练和验证,并得到了高于benchmark 的结果。