基于特征融合与深度学习的学生专注度识别研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:freeboy033
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在线学习场景下,专注度是衡量学习体验的重要指标。提高专注度识别的准确率可以帮助老师及时获得课程反馈,以此提升学生的学习体验。对学生专注度识别研究,较为主流的方法是基于视频数据的方法,此前基于问卷调查、生物传感器的专注度识别方法,存在可靠性差、设备成本昂贵等问题。近年来,深度学习技术被逐渐应用到专注度识别领域且获得众多成果,但仍存在一些不足。例如,基于特征的专注度识别方法,存在仅使用少数几种特征、并未综合考虑与专注度相关的行为和情感信息等问题。基于端到端模型的专注度识别方法,存在模型复杂,实时运行性能差等问题。针对上述问题,本文的主要研究工作如下:(1)首先研究了学习者行为特征和情感特征的提取,分别提出了基于Open Face的学习者行为特征提取方法与基于深度残差注意力网络的情感特征提取方法,并分析了学习者行为特征和情感特征与专注度等级之间的相关性,以及这些特征统计量在不同专注度水平上的统计量差异,结果表明融合学习者的行为特征与情感特征对专注度识别的必要性,为之后提出的专注度识别方法做铺垫。(2)提出了一种融合特征的专注度识别算法。借助前面提出的行为特征和情感特征提取方法,然后融合学习者行为和情感信息的特征向量输入到时序模型进行识别。在时序模型方面,本文在擅长处理时空数据的时序卷积网络(Temporal Convolutional Network,TCN)的基础上,提出了融合时空注意力机制的时序卷积网络(Spatiotemporal Attention Temporal Convolutional Network,SA-TCN),使模型能自适应提取重要的时域以及空域特征,并忽略冗余特征,进而提高专注度识别准确率。本文算法在公开的专注度识别数据集DAISEE上进行了训练和验证,实验结果表明,本文提出的基于融合特征的专注度识别算法的识别准确率达到62.5%,领先之前的其他专注度识别算法,且能够改善对少数类的样本识别效果,并在Emoti W-EP数据集上进行验证,取得了0.0708的MSE。(3)考虑到实际应用过程中对专注度识别速度有更高的要求,因此从单阶段的3维卷积网络入手,提出了一种基于通道混合的I3D专注度识别网络,通过替换原始I3D中的Inception模块的卷积核以降低模型参数。其次是将轻量化网络Shuffle Net融合到改进后的I3D网络,并引入多分类焦点损失函数,以提高模型对整体类别损失的监督能力,实验结果表明:本文提出的基于通道混合的I3D专注度识别网络,不仅提高了原始I3D网络的性能,并且相比DAISEE上其他方法,缩短了模型的推理时间,且保持较高的识别准确率。
其他文献
自然科学是马克思主义得以诞生的重要学理基础,也是马克思所研讨的重要话题之一。在对实验和工业的探察中,马克思确认了自然科学和人的科学将是“一门科学”。在对机器大工业的批判中,马克思既阐释了资本主义生产方式与自然科学之间同向共进的关系,又分析了自然科学的“资本主义应用”所导致的一系列社会后果。在对人类社会历史的考察中,自然科学既为我们分析和把握历史作了方法论方面的指导,又为我们展示了人类社会发展前景。
为合理预测中国民航运输业的碳达峰时间,首先采用Kaya恒等式和对数平均迪氏指数分解法(LMDI)分解中国民航运输碳排放量的影响因素。其次,建立Tapio解耦模型分析民航运输碳排放量与各影响因素的关联强度,运用改进可拓展的STIRPAT模型实现中国民航运输碳排放量的预测。最后,设置基准、发展、远距、节能、浅绿、深绿情景进行测算。结果表明,深绿情景下中国民航运输业可以在2045年实现碳达峰。因此,基于
高士其是中国著名的科普作家,一生致力于科普创作和科普事业,是第1位到达延安的“红色科学家”,被周恩来总理赞誉“高士其代表科普”。回顾了高士其的科普创作生涯,提出了马克思主义科学文艺理论体系的内涵:科学和文艺应该在马克思主义指导下相结合,科学文艺作品应兼顾科学性、思想性和艺术性;要尽力扩大与科学相结合的文艺体裁范围,不同体裁科学文艺作品的创作应遵循不同的规律。高士其科普创作思想对当前的科普创作有重要
<正>我是台湾花莲人,幼时随父母来到浙江湖州生活,2018年从美国拉文大学(University of La Verne)毕业后,回到湖州经营家族企业合山化工(湖州)有限公司,是第三代台商。成长经历我们家族很早就在大陆经商了。1985年,我爷爷就已经在东莞开发区开了化工厂。
期刊
2020年9月,“30·60”碳达峰与碳中和发展目标的提出,意味着绿色低碳发展已经成为当前我国经济发展的重要方向之一。同时,伴随着“一带一路”倡议的推进,我国在“一带一路”沿线国家的对外直接投资(OFDI)也逐年增加。有部分国外观点认为,中国作为全球第一大碳排放国,在通过OFDI形式将自身碳排放向“一带一路”沿线国家转移,那么现实情况是如何?中国OFDI对“一带一路”沿线各国碳排放产生了怎样的作用
我国近代园林是传统园林与现代园林过渡时期的产物,南浔近代园林为其中的典型代表,具有较高的研究价值和较大的历史意义。该文分析了南浔的近代园林保护实践现状,以南浔宜园的保护性修复与再生为例,总结了南浔宜园在保护修复过程中取得的成果与当前亟待解决的问题,在此基础上探究南浔近代园林保护与发展策略,以为近代园林的保护与发展工作提供参考。
<正>从近年来的趋势看,建筑业正在走向数字化变革新时代,并且转型升级取得明显进展。数字化技术对建筑行业的发展起到了极大的推动作用,云计算、大数据、物联网、移动互联网、人工智能等对建筑业产生了很大影响。如何高效实现数字化转型升级?具体怎样实施才适合自己的企业?需投入多少成本?以上问题是很多建筑企业管理者提出的问题。
期刊
资本主义生产方式深刻塑造下的劳动异化、技术异化和人的异化是马克思异化理论在经济社会生活领域解码现代性危机的三个重要支点。人是现代性的现实主体,现代性危机在本质上体现为人的异化危机,表现为人的主体性丧失和人的类本质遮蔽。作为价值的唯一源泉和先进生产力的集中代表,人的生产劳动、技术及其物化形态并不具有自我异化的属性,它们在现实生活中之所以出现异化并由此带来人与人的主体性和本质相背离的现代性后果,其核心
科技进步是推动经济高质量发展的内在动力,科学测算宁夏科技进步贡献率对促进宁夏经济高质量发展有重要意义。本文采用索洛余值法测算了1990—2018年宁夏全区及18个县(市、区)的科技进步贡献率。估计结果表明:1990—2018年,科技进步、资本投入和劳动投入对宁夏经济增长年均贡献率分别为35.48%、48.04%和16.48%。由此可见,资本投入对经济增长的贡献率最大,其次是科技进步,劳动投入对经济