根据课堂教学视频数据进行学生的课堂行为识别,是当前智慧教育领域的研究热点之一,对学生课堂行为识别的结果进行相关数据统计,有利于后续课堂教学的实施管控和课堂教学质量评估及分析,为提升教学质量、确定教育改革方向提供了良好的基础数据支撑。本文以成人教育的课堂监控视频为研究对象,基于卷积网络对面部区域检测、身份认证以及动态骨架特征的提取分别进行了相应的研究,论文主要工作如下:(1)面部检测与身份验证:针对教学视频中出现的小目标影响学生个数统计,以及学生身份验证准确性的问题,本文基于小目标面部检测的卷积网络,在平衡检测准确率与计算速度的同时,结合实际课堂教学场景,对过大尺寸面部检测的网络层级进行相应地削减与改进,在课堂的测试数据集上能够很好的检测到小目标区域的脸部,并达到了98%的面部检测准确率,检测速度能够达到32.4FPS;并且根据面部检测结果进行深度特征提取以及特征距离的计算,验证到课学生的身份信息,得到面部验证的准确率为97%。(2)基于图结构的学生行为识别:针对已知身份与面部位置的学生具体课堂行为识别的问题,本文在面部检测的基础上,引入头部姿态检测及识别,将课堂的“听讲”行为的识别准确率提高了12.02%;同时,针对课堂场景下遮挡关节点检测准确率较低的问题,本文提出生成学生个体预测框辅助漏检关节点预测的方法,实验表明,该方法使得课堂遮挡较严重情形下的学生关节点检测准确率能够达到98.48%;最后,通过学生的上半身关节点检测结果,对其进行动态骨架的时空域特征提取,得到相应行为的预测及分类。(3)识别准确率较低行为的改进与优化:针对部分课堂行为识别准确率较低的问题,本文提出对学生手部物体进行检测,并联合检测区域的中心点构建不同的人-物关联卷积网络的方法,使“书写”和“玩手机”行为的识别相较于单一的行为检测结果分别提升了24.42%和25.86%,达到了92.96%和95.88%;同时,对于学生行为数据集的制作过程中的信息帧冗余的问题,本文提出关键帧的抽取方法,从而保留对行为识别贡献更大的信息帧,有效减少了行为数据的冗余。