基于leap motion的钢琴弹奏手指运动特征测量与评价系统

来源 :天津大学 | 被引量 : 0次 | 上传用户:zhoupeng4348
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年,随着人民生活水平的不断提高,越来越多的人希望通过学习弹奏钢琴来陶冶情操。但是弹琴动作要领多、自主学习效率低、一对一教学费用昂贵等问题,使许多初学者半途而废甚至望而生畏。通过将钢琴专业人士弹琴时手的姿态、手指触键的力度、速度等进行采集与分析,建立钢琴教学服务平台可帮助初学者学习正确的弹琴动作要领,提高自主学习效率。本文通过建立基于leap motion的手部三维测量环境,测量并采集手指触键的运动参数、并对规范的运动特征进行标定和描述,最终建立一套完整的钢琴弹奏手指运动特征测量与评价系统。该系统可辅助初学者和教师实现弹琴规范动作的学习和练习。本文首先根据人手的生理学结构运用D-H参数法建立人手的运动学模型,首次引入手指运动偏角的概念,并推导出其雅各比矩阵为后续运动分析打下基础。然后,本文基于leap motion 3D空间传感器,搭建了手部三维测量平台,植入手指触键三维模型,运用坐标系对齐等方法实现手指触键运动的捕捉和各关节运动特征点的数据采集。通过测量实验验证了模型简化合理、测量方法可靠。接下来,筛选8位手指长度不尽相同的钢琴教师,利用leap motion分别对其手指的触键动作进行测量;进而选取不同的拟合模式在置信区间为95%的条件下进行数据处理,并分别拟合出掌指关节与近指关节,远指关节和偏角的角度变化关系,建立手指触键动作位姿描述的自适应函数。再通过去噪和整合的算法对手指触键动作的速度信息进行处理,得到掌指关节,近指关节,远指关节和偏角在触键时回弹和下落的速度变化量。利用MIDI键盘使用Absolute值简化并测量手指触键落点力,结合运动的位姿和速度,建立完整的自适应手指长度触键动作的特征描述。最后本文采用BP神经网络建立钢琴弹奏手指运动评价系统,该系统将手指触键动作参数:位置、速度、触键反馈等作为输入神经元,将音色和手指触键动作评分作为输出神经元。然后通过训练和测试得到评教效果良好的手指弹奏评价系统。本文研究的钢琴弹奏手指运动特征测量与评价系统不仅可以帮助初学者进行弹琴触键动作自主学习,而且可以帮助手部运动障碍患者实现治疗后期的手部康复训练。
其他文献
随着互联网的普及和大数据的快速发展,人们从海量数据中获取有效信息的难度越来越大,因此对个性化推荐的需求也越来越高。基于主流社交媒体的发展和用户的动态的兴趣偏好,本文针对推荐系统中数据稀疏性问题进行研究和分析,并提出解决方案:本文通过引入用户行为的时间信息和跨系统的社交信息,提出了融合社交信息和时间效应的协同过滤推荐模型(STCF)。首先利用LSTM网络对用户的短期兴趣偏好进行建模,整合用户长、短期
药物引起的肝毒性可能引起急慢性肝病,造成对患者生命安全的危害。这也是药物从市场撤回的主要原因之一。为了在药物研制的早期测定药物的肝毒性,过去常用动物实验的方法去测定,然而由于这种方法面临很大的人道主义以及效率较低的问题,越来越多的研究者使用药物毒性基因组学数据进行肝毒性预测。通过对基因表达数据的数据挖掘,可以更有效的预测药物的肝毒性。在我们的研究中,我们提出了一种基于基因表达和毒性数据的多剂量计算
隧道掘进机是目前应用最广泛的一类隧道施工重型巨载装备。由于其主要依靠位于装备最前端的刀盘刀具不断旋转切削岩土介质实现掘进,构成了一个与周围地质间不断发生相互力学作用的复杂工程系统。随着传感检测技术的快速发展,目前的掘进装备能够在施工过程中实时记录各类与运行状态相关的数据信息,为分析掘进系统中关键参量间相互影响规律与预测其变化趋势提供了充足的数据源基础。这类工程实测数据往往具有影响参量之间高度耦合且
无标记的人体运动捕捉是计算机视觉和计算机图形学中一个受欢迎且具有挑战性的话题。其主要任务是通过跟踪视频中移动物体的运动来恢复动态3D形状的时间连贯表示。近十年以来无标记的单人运动捕捉有了极大的发展,然而现有的方法需要小心的调整相机以及操作控制台,并且极大程度上依赖分割技术。在多人的情况下,由于多人分割和姿态估计的困难,直接将现有的单人运动捕捉技术应用于多人情形是无法产生令人满意的结果。尽管某些方法
高超声速边界层的转捩预测一直是高速飞行器的气动设计所关心的重要问题。而在高超声速边界层流动中,由于存在着非平行效应以及激发Mack第二模态时的模态相互作用机制,因此在进行转捩预测研究时,中性曲线下支的确定需要考虑到这两个方面的影响。本文以高超声速平板边界层为研究对象,首先针对边界层稳定性的平行流条件下的稳定性定义和非平行流条件下的定义展开了讨论,厘清了在PSE框架下不同范数约束以及增长率约定方式对
作为具有高能量效率的清洁能源技术,质子交换膜氢燃料电池受到众多关注。质子交换膜作为关键部件,其耐久性对氢燃料电池的使用具有重要意义。本文对质子交换膜在不同加载条件和湿度循环下的疲劳裂纹扩展行为进行了数值研究。本文使用内聚力单元模型和基于Paris law的循环损伤演化关系对质子交换膜在双轴拉伸加载下的疲劳裂纹扩展行为进行了研究。本文研究了侧向应力、应力加载波形、过载以及应力加载历史对质子交换膜疲劳
充气圆管起鼓问题是我们日常生活中和生产实践中十分常见的问题,甚至与人体生命健康息息相关:小到血管瘤/动脉瘤的形成,到气球的不规则变形,封隔器的爆裂问题,大到水下巨型“电鳗”的发电过程等等,其中都出现了圆管起鼓问题。而这一类问题都可以从数学,力学的角度给予解释。的日常生活中,常常会出现类似于这一类的大变形的问题,如果没有很好的防护,会对生活和生产实践产生灾难性的后果,因此研究圆管失稳/起鼓问题就显得
粗粒化分子动力学是研究生物大分子微观结构动力学特征的重要方法之一。粗粒化分子动力学将多个原子视作一个粗粒化颗粒进行计算。目前适用于生物大分子的Martini力场是基于重现体系自由能的方法确定粗粒化力场参数,是针对整个生物体系而设计和开发的力场,Martini力场只适用于定性地分析生物的分子结构的结构特点,无法具体到用数据精确表达分子结构的变化过程。本文采用迭代玻尔兹曼反演(IBI)法,探索建立适用
粒子图像技术(Particle Image Velocimetry,PIV)以及互相关查询算法在湍流边界层的测量中应用广泛,随着湍流边界层研究的深入,更为全面和精确的测量湍流场信息变得至关重要,相比于全局统一的均匀查询窗口(Interrogation Window,IW),更灵活的查询方式才能与湍流边界层的不均匀性相适应。本文基于湍流场的平均流特性,提出了一种区别于常规IW的非均匀IW模型,该模型
对保有一定运动能力的上肢运动功能障碍患者,相比完全由设备带动训练的被动康复策略,按需辅助策略将患者自身的主动运动意图及运动能力纳入考虑,给患者提供完成康复运动所需的最小辅助力,提高了患者在康复运动中的主动参与程度,进而提高了康复效率。按需辅助策略中的核心问题是判断患者自身的主动运动意图及运动能力,而在康复训练过程中的人机交互力/力矩通常包括患者肌肉的主动作用和肢体自重、软组织粘弹性力等被动作用两部