多模态生理信号音乐的生成方法研究

来源 :北京交通大学 | 被引量 : 1次 | 上传用户:zhiyuanxu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
音乐是一种艺术表达形式,可以表达人的思想、情感和意识,既对人的情绪和心理产生影响,又会对人的生理产生影响。人在听悲伤的音乐时,心情就会低沉忧郁,听节奏明快的音乐,则会感觉到心情愉悦,而在听热烈奔放的摇滚乐时,心跳的速度会变快。人类个体在听音乐时产生的感觉,就是人与音乐产生的共振,这种共振侧面表明了人类个体在生理上具有音乐性节律,而呼吸、心跳中就蕴含着这种节律。因此,采集人们的生理信号,将其转换成音乐,以音乐的形式记录生理信号,通过对音乐的分析可以获取人体的生理状态信息,了解人体的生理状态差异。本文采用的数据来自一个说谎检测实验,该实验记录心电信号、皮电信号和表情数据信号在内的3种生理信号,信号采集于说实话、说谎话、静息和指定条件下说实话4种生理状态。本文探索了多模生理信号生成音乐两种方法:第一种是无标度参数映射:基于生理信号与音乐共同遵循的无标度性质,完成了采用参数映射方法生成音乐的研究,将心电信号、皮电信号和表情信号的振幅、周期和功率映射为音乐中音符的音乐、音高和音强。对生成的音乐的各项要素进行统计、分析和幂律拟合发现,不同生理状态生成的音乐之间存在着显著差异。通过音乐聆听实验可发现,生理信号生成的音乐可以辅助说谎话与否的生理状态的区分,且生理音乐的聆听次数会影响音乐生理状态的判断。第二种是深度学习方法:基于seq2seq(sequence to sequence)序列到序列和注意力机制方法完成了生理信号生成音乐的深度学习方法的初步探索。生理信号输入到搭建好的seq2seq模型中,可以得到音乐符号,生成音乐,但是结果与我们的预期差距较大,并不能生成可区分状态的音乐。通过对多模生理信号生成音乐方法的探索与对比,发现无标度参数映射方法是目前生理信号生成音乐研究中比较好的方法,深度学习在生理信号生成音乐中不能很好地学习生理状态之间的差异,还需要进一步的探索和研究。对生理信号生成音乐的研究可以作为分析和研究生理音乐中的生理状态表达模式的基础和前提,同时也可以为深度学习网络在音乐以及医学临床的应用方面提供新的思路和途径,探索深度学习在生理信号分析中的新应用。生理音乐将复杂的信息进行了“可听化”转换,将音乐参数引入深度学习网络,可能提供一种促进人工智能发展的新思路和途径。该成果还可以用于研发生理状态监控和反馈设备,比如用于失眠的治疗,疼痛的缓解,健康状况的评估等领域,具有极大的经济潜力。
其他文献
在过去500年里,科技发展既有进化,也有革命。科技革命是科学革命和技术革命的统称。科技革命的发生和发展,不仅改变了科技的内部结构,而且改变了科技活动的世界分布,影响了世
会议
在课改大背景下,历史教学着重强调学生学习方式的转变,侧重于学生学习历史知识的过程与方法,以及历史思维与历史意识的培养。而历史活动课程则是实现这一目标的重要方面之一,
目的子宫内膜异位症(内异症)是妇科最为常见的疾病之一。而电子病历包含大量临床信息,本研究拟通过信息化手段处理北京协和医院电子住院病历,建立一个子宫内膜异位症单中心数
目的:通过观察采用骨填充网袋与经皮球囊扩张技术(PKP)治疗单纯压缩(Denis I)、压缩爆裂(Denis II)的单节段骨质疏松性胸腰椎骨折(OVCF)的临床效果,探讨治疗单节段OVCF的最佳
目的:社会性快感缺失,是指个体从社交活动中体验快乐的能力下降,或者是对形成社会亲密关系的需求降低。一方面,社会性快感缺失在临床上属于一种跨诊断结构,是抑郁症、精神分
目的:通过体外实验,研究新藤黄酸(GNA)对顺铂耐药非小细胞肺癌(NSCLC)细胞A549/Cis细胞周期、凋亡及顺铂耐药的影响。采用高通量测序(RNA-seq)方法研究GNA影响的A549/Cis细胞转录调
高中化学是学生学习的重要科目之一,因此,高中化学老师在教学的过程中,要运用更加有效的教学方式,提高化学教学效果,提高学生的化学学习效率。基于深度学习的高中化学实验教
公园城市的核心是以人为本,不断提高居民生活质量,以生态文明思想来引领城市发展,形成"人、城、境、业"高度和谐统一的城市发展新范式。滨水空间作为城市公共空间最为重要的
2017年新课程标准颁布,化学学科教育在基础教育课程改革中发生了巨大变化。新课标要求基础教育课程要能够落实立德树人的任务,提升学生的化学学科核心素养,同时也为阶段性评价提供重要依据。习题作为教材的重要组成部分,是阶段性评价的载体之一,承担着诊断和发展学生学科素养水平的重要功能。基于2017年版课程标准而编写的鲁科版和人教版新教材,本研究主要围绕其习题设计与课标要求是否具有一致性,以及核心素养在教材
[目的]初步评估和分析新型活性复合多孔骨填充材料纳米羟基磷灰石/聚酰胺77(na/ohydroxyapatite polyamide 66,n-HA/PA66)修复良性骨肿瘤术后骨缺损的临床效果和安全性,并初