情境驱动的AR-BCI脑机交互方法研究

来源 :郑州大学 | 被引量 : 0次 | 上传用户:jingkaiqq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,基于增强现实(Augmented Reality,AR)的脑机接口(Brain-Computer Interface,BCI)系统更多关注如何从脑电信号中解析出更多控制信息,忽略了刺激源所表达的情境性以及对操作者的认知特征考虑不足的问题。本文针对上述问题,引入情境感知理论,提出了情境驱动的AR-BCI脑机融合交互系统,通过设计具有机器情境感知的交互界面模块和人脑情境认知驱动的交互手段接口,充分挖掘了机器自主智能以及人脑认知决策方面的优势。AR-BCI系统利用稳态视觉诱发电位(Steady-State Visual Evoked Potential,SSVEP)作为脑机接口控制方法,在情境驱动下实现认知、决策和控制在时间和空间层面的融合;通过情境传感器获取情境信息,利用深度学习算法对情境成分进行感知与识别,AR设备对情境信息和感知信息进行融合与显示,脑机接口技术对外界进行控制与交流,在操作者和机器之间面向共同情境时建立起了一条直接的双向信息交互通路。本文主要研究工作如下:(1)提出了情境驱动的人机交互模型。针对人机交互系统的情境信息感知不足问题,提出了含情境感知、情境认知和人机交互三部分内容的基于情境驱动的人机交互模型,证明将脑机接口和增强现实的结合能够让用户更快速准确地理解情境信息并减轻用户的认知负担。(2)设计了情境驱动的AR-BCI脑机融合交互系统。将BCI作为交互手段对用户的脑电活动进行感知,并融入脑机融合系统概念,将机器引入系统对情境信息进行感知,利用AR眼镜作为交互设备显示情境、感知和交互三部分信息。(3)利用SSVEP作为BCI的应用类型,在两种情境下对提出的交互模型进行了可行性实验,利用设计的实验范式对模型进行验证测试。虚拟情境中利用AR眼镜渲染三维模型模拟情境物体,在有、无机器情境感知两组对比实验中通过SSVEP正确率和认知负荷评分可以得到情境感知的引入能够提高用户的作业效率和降低用户认知负荷的结果;真实情境中利用机器对真实物体进行感知识别,实现更具有目标导向性和真实直观的增强交互,结果证明情境驱动的AR-BCI脑机融合系统在实际应用中具有可行性和实用性。
其他文献
现代舰船设备越来越复杂,为方便舰船后期维修,在设计阶段就应保证零件具有良好的维修空间。本文以CATIA/delmia软件进行舰船模型设计为背景,提出的维修空间快速验证方法是一种应用于舰船模型设计过程中的维修空间验证手段,设计人员在设计舰船模型过程中,使用该方法可快速准确验证单个或多个零件在所定义的静止或运动空间是否合理。本文主要的研究分为以下几个方面:首先针对当前空间验证方法应用于设计中空间验证存
热电材料可以通过内部载流子的输运实现热能与电能的直接相互转换,是一种安全可靠的新型清洁能源材料,在热能发电和热电制冷领域具有广阔前景。目前,在近室温段,Bi2Te3基热电材料仍然是唯一被广泛商业化应用的热电材料体系。然而,Bi元素和Te元素都是地壳中储量较少,价格较为昂贵的元素,并且这些化合物中所含的Te元素对人体和环境都有很大危害,不适合大规模的制备使用。Ag8Si Se6和Mg Ag Sb两种
滚动轴承-转子系统做为高速回转机械设备中的核心部件,在工程制造及加工领域具有极为广泛的应用,较为普遍的工程机械包括涡扇式发动机、大功率压缩干燥机及各类电动机等。做高速回转运动的轴承-转子系统在工作时必然会引起机械设备整体的振动,该振动会对设备的加工及工作能力产生负面的影响,降低设备工作的稳定性,导致设备加速老化,甚至会引发更加剧烈的振动,导致事故发生。在复杂运行工况下,转子系统会产生明显的非线性振
薄壁管材质量轻且兼有足够的刚度、韧性以及强度,在从工业、航空航天、国防等高科技领域到制罐、家用电器等的生活领域均有广泛应用。美中不足的是在锻造、加工运输等过程中,薄壁管会发生不同程度的缺陷,矫直就是其精整过程的一个重要工序以便消除其弯曲、瓢曲、椭圆度等。已有的方法大多都是通过试矫,确定压下量,矫直力,然后反复弯曲进行矫直,很大程度上依靠工人的操作经验,降低了矫直机的矫直精度和产品的合格率。这就在很
贵州省黔南州凤山水库工程位于贵州省黔南布依族苗自治州福泉市重安江上游河段,通过对水资源的开发利用,实现以城乡生活、工业供水为主,兼顾发电等综合利用。水库电站运行后将在坝址至下游尾水间形成一小段减水河段,供水后将对原有的鱼类“三场”产生了一定的不利影响。为了协调防洪、供水、生态、灌溉、航运、发电各项工程效益,最大限度的发挥工程生态效益,开展本次凤山水库工程减水河段生态流量的确定及生态调度方案研究。本
永磁同步电机(Permanent magnet synchronous motor,PMSM)是一个强耦合、复杂的非线性系统,具有功耗低、功率密度高、构造简单等优点,广泛应用于高精密场合。本文以永磁同步电机调速系统为主要研究对象,开展滑模变结构控制理论的相关研究,并针对传统电机控制算法需手写代码进行开发,存在效率低、周期长、可靠性差的缺陷,本文采用基于模型的设计方法(Model Based Des
太空电梯是一种连接地面和近地轨道的运输系统概念,旨在将空间载荷在不使用运载火箭的情况下,由攀爬机器人沿天-地带缆从地球表面直接送入太空或轨道,有望根本上解决运载火箭发射成本高昂、发射周期和频次受限等问题。攀爬机器人是太空天梯的核心部分,面临着高负载-自重比、高移动速度和高可靠性等技术挑战。为此,本文提出了一种针对带缆的、可主动调节夹持力的小型高速、大负载-自重比的天梯(太空电梯)攀爬机器人机构,针
本文主要阐述了几何形态测量学在体质人类学与石制品研究这两个考古学领域的历史、理论与应用,并讨论了一些相关问题。全文共分为六个章节。第一章对形态学的研究历史作了简要回顾,共分为三个小部分。第一部分介绍了形态测量学在古希腊时期的历史根源以及现代分类学的早期发展;第二部分介绍了考古形态学中的石器类型学与种族人类学,以及这一时期形态学量化的萌芽;第三部分简述了传统形态测量学的历史、理论以及存在的主要弊端。
超精密加工技术是光电子器件制造中的支撑技术,广泛应用于航空航天、电子通信、生物工程、信息技术等领域,并取得了卓越的发展,已经成为高竞争企业中的重要研究内容。磁流变抛光技术是精密机械加工技术中最有效的高表面质量和高形状精度的形成手段之一,它也是在超精密切削和镜面磨削加工后进一步提高表面质量的最佳工序。磁流变液是一种新兴材料,未加磁场时,磁流变液就如普通流体一样。加上一定强度磁场后,磁流变液会迅速变为
Inconel 718镍基高温合金因其具有优异的高温力学性能、抗腐蚀性能以及良好的可焊性而被广泛应用于诸如燃气轮机涡轮盘等高温部件。与传统的锻铸加工技术相比,增材制造具有生产周期短、成形尺寸精度高、节能环保等一系列优点。然而,增材制造的零部件其微观组织结构与铸锻件的差异,以及作为性能优异的镍基高温合金的典型代表IN718合金的激光成形件的高温抗氧化性能如何,其服役可靠性特别是其疲劳性能都是目前学界