基于第一人称视频的学生课堂注意力检测研究

来源 :东北师范大学 | 被引量 : 0次 | 上传用户:ddd12322
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
学生的学业水平是学校和家长共同关注的核心问题。研究表明,学生的学业水平与学生在课堂上的注意力状态存在着密切联系,能够长期保持注意力集中的学生往往具有较高的学业水平。因此,十分有必要提高学生在课堂上的注意力水平,为此首先需要对学生的注意力进行检测。现有的注意力检测方法包括问卷调查法、仪器检测法和计算机视觉算法。问卷调查法虽然方便进行统计分析,但是通常会受到主观因素的影响,无法保证实验结果的质量和可信度。仪器检测法虽然可以在一定程度上避免主观影响,但是这些仪器普遍价格昂贵,而且一台仪器一次只能检测一名学生的注意力,难以满足对全班几十名学生同时进行注意力检测的需求。计算机视觉算法通常采用第三人称图像或视频数据,但由于教室内学生人数过多,算法对小目标以及被遮挡目标提取困难,因此不能准确地检测学生的注意力。为了实现批量且准确地获取学生课堂注意力数据的目标,本文提出了一种新的方法:基于第一人称视频的学生课堂注意力检测。与第三人称视频相比,第一人称视频具有视频与学生一一对应、视频内容与注视行为相一致的优点,因此可以使学生注意力检测更加准确。本文提出的注意力检测模型包括3个模块:注视点估计、注视目标识别和注意力水平分析。注视点估计模块使用显著性检测与注意力转移相结合的深度学习算法,为提高算法精度,本文尝试了3种注意力机制,分别为空间注意力、通道注意力和混合注意力,具体做法是将注意力模块嵌入卷积神经网络(Convolutional Neural Network,CNN)的卷积块之后。注视目标识别模块对单步多框检测器(Single Shot Multi Box Detector,SSD)和快速语义分割网络(Fast Semantic Segmentation Network,Fast-SCNN)的效果进行了对比。注意力水平分析模块通过眼动测量指标计算以及过程性评价对学生的注意力进行综合分析和评价。为验证注意力机制对注视点估计算法的效果,本文在公开的第一人称视频数据集GTEA Gaze Plus上进行了实验,实验结果表明:3种注意力机制对注视点估计算法均有改进作用,其中混合注意力改进作用最大,通道注意力次之,空间注意力改进作用相对较小。由于目前没有获取到公开的学生课堂第一人称视频数据集,本文还录制了学生课堂第一人称视频数据集(First-Person Video of Students in Class,FPVSC),并在该数据集上进行了实验,实验结果表明:在注视目标识别模块中,Fast-SCNN算法比SSD算法更加准确;本文提出的方法可以有效地对个体学生及全体学生的课堂注意力进行综合评价。
其他文献
三维人体姿态估计是计算机视觉领域的热门研究问题之一,其在人机交互、动画制作、视频监控等方面有着非常广阔的应用前景。本文主要研究面向自然场景的三维人体姿态估计问题,即对单视角自然场景图像计算其中目标人体各关节的三维坐标,从而恢复人体的三维姿态。目前对该问题的研究存在两大难点:第一,从单视角二维图像恢复三维人体姿态存在不准确性。单视角图像损失了大量的深度信息,使得从二维到三维的变换存在高度非线性;第二
近年来,随着移动网络和智能设备的发展,物联网得到了迅猛发展,日益增多的基于物联网的智能应用不断出现,高度互联的智能设备以及其产生的大量的交易数据引发了安全和隐私的关注。区块链作为新型分布式计算框架,具有去中心化,不可篡改,可追溯等特性,正在被广泛地应用于金融、电子取证、商品溯源等各种领域,在物联网领域区块链的应用刚刚开始。但是目前已有的包括比特币、以太坊、超级账本等在内的区块链平台计算开销大,这种
随着计算机视觉领域的快速发展,许多研究人员的关注焦点聚集于人体动作识别方向。该研究方向多运用视频分析的方法对人体动作进行识别,然而人体动作间灵活性高、差异性小,运用视频分析对人体动作类别进行准确识别仍面临诸多困难。随着视频获取设备的日益成熟,运动中的人体骨架信息越来越易于获取,且人体骨架信息对于光照、场地、遮挡等问题均具有一定的鲁棒性,因此基于视频的人体动作识别逐渐转为基于骨架的人体动作识别。人体
肺癌作为全球发病率、死亡率均位居前列的疾病,严重危害人类的健康,尽早发现与治疗是降低肺癌死亡率的重要手段。肺结节是肺癌的早期存在形态,及时诊断肺结节是提高肺癌患者治愈率的关键。CT技术是目前临床医学中应用最为广泛的诊疗手段,但CT诊疗产生的数据以指数倍形式迅速增长。因此,医生人工观察CT图像进行疾病诊断需要巨大的工作量,效率较低,且诊断结果通常带有较强的主观性。为提高医生的诊断效率、减少医生的工作
显著性检测是指从图片中找到最“引人注意”的一个或若干个物体的过程,其本质上是一种心理学过程的计算机重现。深度卷积神经网络技术在当前图形图像各领域的应用中展现了不可思议的能力,在显著性检测领域也不例外。目前,最先进的方法都是基于深度卷积神经网络技术研发的。这其中,Lee等人提出的ELD(Encoded Low Level Distance)算法将底层特征和高层特征统一编码,统一训练,是一种非常值得借
三维人体姿态估计是计算机视觉领域中的热门课题。三维人体姿态估计可以作为人体姿态识别、人体跟踪、行为识别等任务的基础,同时在高级人机交互,智能监控等领域拥有广泛的应用前景。由于从单目图像预测三维空间信息是十分困难的,并且姿态图像存在着遮挡和视差等问题,使其非常具有挑战性。随着深度学习在多领域的成功应用,具有强大学习能力的深度神经网络也逐渐成为三维人体姿态估计任务的最佳选择。本文将基于深度学习,采用分
近年来,随着定位、跟踪技术的快速发展,诸如GPS等位置感知设备得到了广泛的应用,使得车辆、人们的移动轨迹能够被精确地记录,通过对轨迹数据的有效分析可以了解一个城市的交通状况及城市中人群的移动规律,对于城市管理者的决策具有重要意义。然而,由于轨迹数据具有时空特性,并且通常数据规模很大。因此,如何有效地发挥轨迹时空连续性,探索数据中隐藏的时空规律是一项巨大的挑战。本文基于成都市出租车真实轨迹数据,研究
随着智能化设备的不断革新,很多产业的落地都需要海量的视频信息作为基础。视频信息相较于普通图像而言隐藏着巨大的价值。动态性、可持续性以及关联性都是视频所独有的特点,基于这些特性对视频数据进行挖掘将会收获极大的价值。对视频的行为识别研究是计算机视觉与模式识别领域的重要研究课题,行为识别不但具有重要的科学意义,而且具有十分关键的现实应用价值,对我们的生活产生很大的影响。行为识别主要应用领域包括远程识别、
在21世纪这个信息量急速增长的时代,如何快速高效地传达和抓取有效信息是困扰人们的难题之一。为了解决这个问题,相关研究者提出了推荐系统这一概念。推荐系统能够根据可观察到的数据学习用户和项目的特征,不仅为用户提供他可能感兴趣的项目,也为项目找到了合适的用户,是一种解决信息过载问题的双赢系统。得益于深度学习算法在推荐系统领域的快速发展,研究人员将数据映射到模型内部,直接由计算机学习数据特征,避免了繁琐的
随着信息化时代的到来,人们越来越依赖互联网获取所需要的信息。互联网上的网络资源如网站、用户评论、新闻、博客、社交媒体网络等是文本数据的巨大来源。互联网和其他档案中的文本内容每天都呈指数级增长,这些文本中有许多重复的或不重要的部分。因此,用户需要花费大量时间来寻找他们需要的信息,对文本资源的总结和浓缩变得更加迫切和重要。利用人工对这些文本资源生成摘要,需要花费大量的人力和时间,甚至是一件不可能完成的