基于残差卷积神经网络的握笔手势识别研究与应用

来源 :东华大学 | 被引量 : 0次 | 上传用户:JK0803_liuchao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前中小学生中普遍存在握笔手势欠规范的问题,导致书写质量不高、缺乏美感,且握笔手势不正确引起写字姿势不规范,从而造成学生近视比例连年攀升,阻碍了书法教育及学生身心健康。本文依托课题组视频动作识别与智能分析项目,首先基于卷积神经网络、深度残差结构和注意力机制,设计了一种基于残差结构的非对称并行握笔手势识别网络,然后基于该网络设计并实现了一个书写在线教学平台,用于协助教师指导学生掌握正确的握笔手势,提高学生书写能力。通过对手势识别的国内外文献与相关技术的研究,首先,针对握笔手势中的手势部分遮挡,特征提取不充分问题,提出了一种基于深度残差结构的并行卷积神经网络,该并行网络分别对原始图像和手势分割图像进行特征提取,然后采用融合后的特征进行手势分类。其次,针对数据集中样本数量少,图像大小不一影响特征提取的问题,采用改进的空间金字塔池化块和混合协调注意力模块对网络进行优化。最后,由于当前缺乏合适的公开握笔手势数据集,自建了一个包含7类握笔手势,共923张图像的基础数据集,并使用数据增强技术将训练集扩充四倍。在该数据集上的实验结果表明,本文提出的网络模型对握笔手势识别的精度达到76.22%,通过数据增强后达到82.16%,具有较好的效果和鲁棒性。为了帮助学生学习书写的同时持续改善握笔手势,本文以所提出的基于深度残差结构的并行卷积神经网络为基础,设计并实现了一个书写在线教学平台系统原型。通过该系统教师以课程的形式发布教学内容并指导教学,学生可在选课后自主在线学习,同时可通过照片、视频或摄像头作为输入进行在线握笔手势识别,辅助学生纠正握笔手势。本文所提出的基于深度残差结构的并行卷积神经网络可用于构建握笔手势识别系统,同时对于类似无高质量公开数据集的手势分类任务具有参考价值。本文所展示的在线手势识别方法和系统架构,也有助于构建其他在线手势识别及教学系统。
其他文献
近年来,中国乃至全球的游戏市场规模在不断扩大,电子竞技也已逐步列入各类国际赛事,游戏行业呈稳定发展态势。游戏市场增长前景较好,特别是随着5G技术的日益成熟,不仅是带给游戏消费者超低延迟、下载速度快的游戏体验,而且会助推中国游戏市场的大爆发。中国游戏企业为迅速扩大全球游戏市场占有率、提升竞争实力,往往会选择并购交易,因而互联网游戏板块在市场中表现活跃。但并非所有互联网游戏企业都能产生正面的并购效应。
在班级管理中,往日的班主任责任制很难做到全员育人,这就需要中学导师制做出弥补.因此,在中学导师制下,教师的管理发生不少新的变化.尤其是作为学生扮演的“物理小讲师”的辅助教学模式,需要重新思考.本文介绍笔者在导师制的指导下,开展物理小讲师的培养工作,充分发挥导师制的优势,培养出一批优秀的物理小讲师.把“老师教你学习”改变成为“老师我要学、我要讲”的教育方式.
《活着》是余华所著中国现当代文学作品,在社会环境与人类生存的关联性研究和人性的复杂性研究中具有重要价值。其语言文字直击人性"痛点",揭示社会弊端,真实再现了中国底层人民处于政治变革环境下的悲惨遭遇。余华选取独特的第一人称视角推动剧情的展开,并在其中穿插"我"作为采风者偶遇主人公徐福贵,引导徐福贵讲述其人生经历的描写,合理而清晰地向读者传达出一个观点,即生活与幸存的微妙分界在于人称视角的转变。徐福贵
书法教育在培养学生的汉字情结、艺术感受力和审美趣味等方面的作用是其他载体无法替代的。高中语文教材中有丰富的艺术资源,如《兰亭序》中的书法之美、《赤壁赋》中的书法传承、文天祥书法体现的儒家美学观等,都可以作为书法审美教育的资源。
在傅立叶频谱分析器中,当激光正射前焦面的图象时,其后焦面上形成一个个衍射斑,即傅立叶频谱;前焦面上的图象发生变形时后焦面上的频谱亦发生改变,通过分析频谱的这种改变量就可以获得图象变形信息· 以现代光学中的Fraunhofer 衍射理论和有限变形的S_R 分解理论为基础,论述了用激光频谱来分析测量有限应变和转动的数学力学基础、测量原理和方法以及计算机识别与处理技术,作为对这一学术思想提出者陈至达教授
针对恶劣作业环境下传统主从机械手控制系统存在安全性和可靠性较差的问题,研制了一种以单轴工作台和精密压力调节器为主、气动定位装置为辅的机械反馈式主从机械手控制系统。首先,研究了该系统的工作原理并给出了一个工作示例;然后,设计了一种气动定位装置,并对其进行了详细建模;其次,制备了系统的原型实验装置,并单独对气动定位装置进行了阶跃响应实验;最后,对整体系统进行了阶跃响应、重复输入响应和手动单调增加输入响
为使播种深度保持高度一致性,提高播种质量,发挥群体增产的优势,必须对播种深度进行实时监测,方便实现播种机具的及时调控。播种作业过程中,工作人员位于驾驶室内,无法通过人工方式实现作业观察,当拨草轮工作效率差,脱堆的大量秸秆会影响开沟器开沟效果,造成种沟过浅,甚至是大面积漏播的现象。为避免上述情况发生,需要通过合理的设计来实现播深信息的采集与显示,解决播种深度不容易被人工实时检测的问题。本研究以实现有
书法作为一门传统的艺术,在提高学生审美鉴赏能力、促进思维发展和陶冶情操等方面具有重要作用。正因如此,教育部2011年8月2日发布《教育部关于中小学开展书法教育的意见》(以下简称《意见》),正式提出在中小学开展书法教育。2013年又制定了《中小学书法教育指导纲要》(以下简称《纲要》),明确了中小学开展书法教育的目标与内容。《纲要》明确提出义务教育阶段的书法教育要以语文课为主,结合语文课程内容提高汉字
油莎豆是集粮、油、牧、饲、绿化为一体且具有较大开发价值的新型经济作物。现有油莎豆排种器在排种时,存在充种效果差、漏播现象严重、排种率低、株距不一、卡种、对种子尺寸适应性差等问题。为了解决这些问题,研制了一种勺式油莎豆精量排种器。首先,通过查阅近期国内外有关排种器和精密播种机的文献,确定勺式排种器更适合我国油莎豆的播种。测定了油莎豆部分物料学特性,为后续主要结构和关键部件的设计提供了实际依据。其次,