脑机接口（Brain-Computer-Interface,BCI）是一种不依赖于正常的由外围神经和肌肉组成的输出通路的通讯系统,为实现脑-机互联提供了一种全新的途径。基于运动想象的脑机接口系统被众多研究者认为是最具发展潜力的一种脑机接口系统,它可以帮助人们直接通过思维来控制基于BCI接口的机器人,这使得脑机接口不仅在残疾人康复、老年人护理等医疗领域具有显著的优势,而且在教育、军事、娱乐、智能家居等方面也具有广阔的应用前景。脑电信号（Electrocorticography,EEG）中包含着与运动相关的生理信息,通过从原始脑电中学习到这部分信息,可以为运动想象脑电的识别提供巨大的帮助。随着人工智能时代的到来,深度学习已经变成当今最流行的科学研究趋势之一。尤其是卷积神经网络（Convolutional Neural Network,CNN）,已经在图像识别、语音处理和自然语言处理方面取得了卓越的成绩。相比于手工选取脑电信号特征,卷积神经网络可以将特征提取和特征分类整合到一个网络中完成,实现脑电信号的端到端学习,并且可以最大限度地保留原始脑电信号的特征信息。另外,当前的研究按照所观察的层面,大多可以分为时域分析、频域分析和空域分析三大类。大多数研究者都采用单一的分析方法,这样提取得到的特征只能反映脑电信号的其中一个方面的特性,而不能全面反映整个大脑的活动。为了解决以上问题,本文提出了一种多流卷积神经网络模型,该模型可以同时提取时域、频域和空域脑电特征,并将各种特征按照特定方式进行融合,最后进行自动分类。实验结果表明,本文提出的多流卷积神经网络对基于运动想象的脑电信号具有较好的分类结果。本文的研究内容主要包含以下两个方面:（1）时-频双流卷积神经网络在脑机接口研究中,时域和频域特征是最常采用的两类特征。为了全面利用脑电信号中的时域和频域特征,我们提出了一个双流卷积神经网络（Dual-stream Convolution Neural Network,DCNN）,该模型包含时两个独立的CNN,分别采用时域信号和频域信号作为输入,经过卷积池化学习脑电的时域特征和频域特征,然后对时域和频域特征进行线性加权融合,最后得到分类结果。在该模型中,权重融合系数可以由DCNN自动学习,从而为每一个被试找到最佳权重系数值。另外,本研究通过对不同融合方法的比较来探讨如何改善脑电信号分类性能。最后,在BCI2008数据集2a上进行了实验,探究了权重系数的变化对识别准确率的影响,融合层全连接层神经元个数对识别性能的影响,网络层数对识别性能的影响。（2）时-频-空三流卷积神经网络针对多通道脑电数据,其采样电极的分布存在着一定的空间信息。为了将脑电的空间信息利用到运动想象分类中,本章介绍了一种脑电信号的空间表示方法,可以帮助我们从原始时域信号获得空间信息。将空间信息加入到DCNN中,构成了三流卷积神经网络（Third-stream Convolutional Neural Network,TCNN）。我们采用两种融合方式:1.时域CNN、频域CNN和空间CNN的全连接层采用拼接方式连接;2.将单独的空间CNN全连接层通过拼接方式与DCNN权重融合层连接,构建了两个三流卷积神经网络（TCNN1和TCNN2）。这样,就可以通过三流卷积神经网络直接从原始脑电数据中学习到时域、频域和空间特征。本研究采用了BCI竞赛数据集进行了实验验证,实验结果表明DCNN比仅仅使用时域信号或频域信号的CNN具有更好的分类结果。在BCI 2003数据集III上获得了90.71%的准确率,高于其他研究结果;在BCI 2005数据集IIIb上的结果表明,与前人基于幂投影基的特征提取方法、智能混合遗传算法支持向量机、基于相空间提取脑电特征算法等方法相比,三个被试的平均分类正确率达到88.57%,且标准差最低;基于BCI2008数据集2a实验结果显示,9个被试平均精度达到了74.30%,与目前已知的基于通道卷积神经网络等方法相比,也取得了较好的分类精度。另外,本章的研究方法比Concatenate、Add、Average和Maximum四种融合方式更加适合运动想象分类。通过在BCI2008数据集2a上进行实验验证,TCNN1和TCNN2的平均分类精度分别为74.99%和74.76%,均优于时域频域双流卷积神经网络模型（DCNN）及目前已知的大多数算法,证明了脑电的空间信息确实能够帮助提高运动想象的识别性能。通过后续实验分析,在TCNN1中通过调整时域流、频域流和空间流输出全连接层神经元的个数,也可以达到类似权重融合的效果。每个被试的实验情况各不相同,通过TCNN1可以为每个被试找到最佳的全连接层神经元个数组合。本文提出了基于时域频域空间分析的多流卷积神经网络模型,综合全面地学习和利用了基于运动想象的脑电信号的时域、频域和空间域特征,为基于运动想象的脑机接口研究提供了一个有效的学习方法。