基于汉字的多模态脑机交互技术研究

来源 :东南大学 | 被引量 : 9次 | 上传用户:whitewolfwv7
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人机交互是一种研究人与系统(包括计算机以及机械设备等)信息交换的技术。脑机接口属于一种新型人机交互方式,它不依赖于正常的外周神经和肌肉组织,为大脑和外部设备建立了一条直接的通信渠道。目前脑机接口的主要信号为脑电信号,该信号来自非植入式的采集设备,具有成本低廉、操作方便和无损伤等优点。本文针对基于自发脑电信号的脑机接口进行了深入的研究,在充分分析离线实验数据的基础上,构建了在线脑机接口训练系统,有效地提高了脑电信号的识别率。在自发脑电信号的基础上设计了基于汉字默读的语言想象脑机接口,对14位受试者进行离线试验以采集脑电信号。采用事件相关谱扰动时频分析算法为每位受试者确定合适的滤波范围。根据该滤波范围计算每个电极的事件相关(去)同步化。实验结果表明汉字默读与运动想象类似,也会诱导脑电信号在特定大脑皮层发生事件相关(去)同步化现象。通过等效偶极子源定位计算脑电信号的空间源分布,使用事件相关谱扰动图判断与汉字默读相关的偶极子。采用共空间模式作为特征提取的算法,两个汉字默读各自相对空闲状态的特征向量通过支持向量机分类后的结果分别为81.3%和81.4%。共空间模式易受到噪声的干扰,通过优化滤波范围后两者的分类准确率分别提高到83.5%和83.1%。为了提高自发脑电信号的稳定性,设计了附加语言想象的意识任务多模态脑机接口。对10位受试者进行了两个离线子实验:第一个为附加语言想象的意识任务;第二个为单一的意识任务。从频率、时间和空间三个角度来分析这两个子实验脑电信号的稳定性,分析方法分别为自回归功率谱密度、克隆巴赫α系数和共空间模式空间滤波。结果表明附加语言想象的意识任务所产生的信号更具有稳定性。两段想象期的信号分别与空闲期的信号相比较的分类结果在附加了语言想象后分别提高了4.2%和7.2%,两段想象期之间的准确率也提高了6.0%。为了进一步提高不同意识任务间脑电信号的分类准确率,提出了基于互信息的时间-频率范围选择模型。在优化信号的时间-频率范围后,平均准确率提高了2.8%。针对运动想象脑机接口的操作维数数量有限,且维数较多时需要长期的训练才能获得满意的结果。将语言想象与左右手运动想象相结合,组成具有三维操作的多模态脑机接口。通过事件相关谱扰动图分析每个电极的EEG信号在这三种想象中的时间和频率特征,发现这些想象所诱导的信号在不同电极上可产生不同的能量变化。共空间模式算法按照一对一的计算模型扩展为三分类算法,并将其提取的能量特征与互相关方程和相位锁定值分别计算的同步化特征相结合以改善分类准确率。提出两类意识任务同步化差异最大的方法来选择同步化计算所用的电极对。10位受试者的实验结果为:语言想象的分类准确率最高(74.3%),其次为左手运动想象(71.4%),最后为右手运动想象(69.8%)。目前脑机接口的反馈训练主要针对运动想象实验范式所开展,本文在语言想象离线实验数据分析的基础上设计了基于语言想象的在线脑机接口训练系统。训练系统的硬件设备为Quik-Cap脑电帽、Neuroscan SynAmps 2系统和台式计算机,并联合SCAN4.5、BCI2000和Matlab作为训练系统的软件平台。在线训练所用的两个电极来自Fisher准则函数。预处理所用的滤波范围来自离线实验数据的时频分析。特征提取采用方差和功率谱密度这两种方式。分类器为计算速度更快的极限学习机。特征向量和分类模型随着训练的进行不断更新,这保证了算法的自适应性。通过两步决策融合来决定反馈的结果,该方法具有更强的抗干扰性和鲁棒性。6位受试者经过4次训练后的结果表明:通过一定的反馈训练可帮助他们更好地操作脑机接口系统,其中第二、三和四次训练的结果分别比第一次提高了7.1%、7.8%和7.3%。综上所述,本文以基于汉字默读的语言想象为起点,将语言想象扩展为两类多模态脑机接口;从频率、时间和空间三个角度分析了这三类系统中脑电信号的产生机理和表现形式;在离线数据分析的基础上研究了脑电信号的特征提取和分类算法,为脑机接口系统的建立提供了算法上的支持;分析了基于语言想象的脑机接口在反馈训练后的效果,为脑机接口系统的实际应用打下了基础。
其他文献
吉非罗齐为非卤化的安妥明类似物,可降低胆固醇及甘油三酯,能有效持续地升高HDL-C水平,可减少冠心病的发生率和死亡率。USP(XXⅢ)[1]已对其进行了收载,并规定了溶出度检查,45min的溶出量不得少于80%。为此
目的 分析、总结骨质疏松与转移瘤所致的急性椎体压缩的MRI表现 ,评估MRI在两者鉴别诊断中的价值。材料与方法 根据临床表现、生化检查、普通X线照片及CT检查等随机选择骨
计算机作为一种艺术设计的技术工具和手段,两者的关系越来越密切。现代平面设计是有别于传统的平面设计。现代平面设计应用了更广泛、更先进的科学技术,与时俱进,不仅在技术
实施案例教学方法在公共管理学教学中具有重要的现实意义,它是促进公共管理学教学改革的现实需要,有助于培养高素质、专业化的公共管理队伍.在案例教学中所选择案例要基于中
目的探讨气腹造影CT扫描在腹腔粘连中的诊断价值。方法对8例腹部手术术后慢性腹痛、腹胀或机械性肠梗阻反复发作的患者(怀疑为腹腔粘连)。采用气腹造影CT扫描诊断,并行腹腔镜
目的探讨"集束化处理"方案对重型颅脑外伤呼吸机相关性肺炎(VAP)的预防作用。方法将2008年1~12月使用呼吸机的重型颅脑外伤患者作为观察组(n=205),以2007年1~12月使用呼吸机的
现代集团公司发展过程中,成本管理是企业全部管理活动中的重中之重,加强对成本的管理与控制对于提高公司的管理成效具有重要意义。但是在实际工作中,很多公司进行成本管理活
班主任要"以身作则,说到做到"。"为人师表""以身作则",这是每个教师都要做到的,班主任也不例外。
中国的民族文化代表着中华悠久的历史和民族精神,我国的民间舞蹈传承着中华民族的优秀历史文化底蕴.要想在高校舞蹈教育中培养出具有创新精神和实践能力全面发展的高素质的人