脑机接口(Brain Computer Interface,BCI)技术可以连接人脑、计算机和外部设备,实现人机交互,进而达到人机融合,而不依赖于传统的外周神经和肌肉。其中,稳态视觉诱发电位(Steady-State Visual Evoked Potential,SSVEP)脑机接口技术是脑机接口领域最常用的技术,在外部设备控制、康复治疗和高危行业等领域有着巨大的应用价值。目前基于SSVEP的脑机接口系统大多以多个固定的闪烁块为刺激目标,或者改进刺激范式,采用棋盘格、牛顿环、加入相位信息等,但受试者长时间注视这些刺激,容易造成视觉疲劳和疼痛,甚至发生癫痫,且无法与现实环境进行实时交互。而增强现实(Augmented Reality,AR)技术是将虚拟信息与真实世界巧妙融合的技术,允许用户在同一视图中注视视觉刺激并与现实世界进行交互。因此,本研究将增强现实和脑机接口技术融合,改善用户体验,提高用户积极性。本研究的主要工作是提出了一种将SSVEP和AR相结合的动态视觉诱发电位(dynamic state visual evoked potential,DSVEP)方法,设计基于该方法实验范式,利用模式识别算法分析用户意图,采用深度学习算法识别并跟踪物体,开发实时AR-BCI系统,实现利用人脑电信号控制一人形机器人。研究结果提供了对脑机接口的更深入的理解,为实现人机融合提供了科学有效的方法。研究主要完成的内容包括:(1)DSVEP范式脑电信号的分类研究根据在实际环境下,视野中物体出现的移动方向、大小、速度等情况设计研究DSVEP实验范式,对视觉刺激块的移动方向、大小、速度和缩放情况进行脑电信号的采集,分析对脑电特征的影响,并利用功率谱密度(Power Spectral Density,PSD)、典型相关分析(Canonical Correlation Analysis,CCA)和滤波器组相关分析方法(Filter Bank Canonical Correlation Analysis,FBCCA))三种算法对EEG信号分类结果进行比较,并用FBCCA算法分析不同时间窗口下静态刺激和动态刺激下的分类准确率。结果表明,视觉刺激的大小和移动方向对EEG信号特征影响较弱,而缩放的快慢和移动速度与信号特征成反比,尤其是对于基频能量影响较为明显;动态刺激分类准确率优于静态刺激。(2)基于深度学习的物体检测研究针对当前在目标识别领域的两种深度学习网络模型进行研究,基于课题组的数据集,使用YOLOv3和Faster R＿CNN两种算法进行对比实验,对比两种模型的损失曲线和识别速度等,之后选择较好的模型进行实时AR-BCI系统的开发。(3)基于AR的实时脑机接口系统研究开发搭建基于增强实现的在线脑机接口系统,设计开发系统的总体结构,分析整个工作过程中的一些关键技术实现方法,包括BCI系统中视觉界面的设计、通信接口的实现和机器人的介绍和控制。此外本研究中还利用机器视觉进行物体的识别和跟踪,进而将特定频率的视觉刺激对各个物体进行标注。系统中的多线程设计保证了在线脑机接口系统的稳定可靠运行,最后通过在线实验结果验证所设计的AR-BCI系统具有用稳定性和可靠性,物体检测和目标跟踪算法的鲁棒性较高。本研究结果表明,本文所设计的AR-BCI系统是高效且稳定的,把增强现实和SSVEP相结合有望提供一种高性能的脑机交互方式,为开发可穿戴AR-BCI系统提供了参考价值。