随着监控/摄像头覆盖率的不断提升,人们可以越来越方便快捷的获得大量的视频信息,比如课堂视频,小区门岗监控等。传统的依靠人工进行的监察、判断手段缺点越来越明显:观看视频效率低、速度慢;人的注意力容易不集中;人工手段成本过高等。而通过人工智能技术的动作识别算法在复杂的环境下又会出现识别率过低,识别结果不可信的问题。本文使用深度学习技术进行视频的自动识别分析。通过对视频中人物的关节点识别+动作识别来获得视频中人物的准确动作,通过姿态关联的手段联系同一个人的动作信息和身份信息。本文方法提高了复杂环境下的多人识别效率和准确率,并且提出了课堂等场景的评价指标,为智慧课堂的建设,课程的自动评教提供了理论基础。本文首先进行场景建模,总结了常见复杂视频场景的特点,结合课题实际需要选择了有代表性的课堂场景和教学楼大厅场景作为研究范围。根据具体场景中的常见动作进行动作分类的设置和人物关节点模型的筛取,根据场景的具体背景选择合适的评价指标。然后对课堂视频进行采样,在不影响识别效果的情况下加快识别效率。使用Open Pose对视频进行关节点分析,得到场景关节点模型的坐标信息流。然后将得到的多人关节信息流通过帧间姿态关联的方式拆分成单人关节点信息流并进行连续性检查,再按照不同的基线方法进行预处理,送入LSTM网络进行单人的动作识别,得到单人的动作流。并对每个单人姿态进行人脸图像的截取,使用MTCNN+CNN网络对截取到的图片进行人脸识别分析,得到个体的身份信息;然后汇总单人的动作流得到群体的动作数据,并进行场景评价指标的计算。最后实现了一个可视化系统演示算法的工作。由于多人视频必不可少会出现的遮挡会严重影响动作识别工作,需要建立机制提升对遮挡的鲁棒性。本文采用随机添加遮挡的方式,提升数据集中的遮挡率,扩充数据集的规模,并且对短时间出现的遮挡进行插值,降低遮挡对识别效果的影响。