情绪影响人生活的各个方面,人类希望计算机可以具有识别人情绪的能力,从而理解并辅助人类工作。目前,情绪识别技术被广泛研究,主要通过面部表情、姿态识别、生理信号等进行情绪识别,前两种方法具有一定的主观性,受试者（被试）可能隐瞒自己的情绪。基于生理信号的情绪识别较客观,其中脑电因能直观反映人的情绪而备受广泛研究,外围生理信号则可以辅助脑电信号进行情绪识别以提高情绪识别性能。然而,采集情绪脑电数据的设备电极数量多,存在设备不便携和信息冗余等问题,且目前在跨被试（与个体无关）脑电情绪识别任务上的性能均较低,仅使用单一模态脑电信号难以准确反映人的情绪状态。针对以上问题,本文开展了脑电通道选择和多模态情绪识别的相关研究,主要工作分别如下:（1）针对采集情绪脑电数据的设备复杂,存在信息冗余、计算量大等问题,提出一种基于推理-统计的情绪脑电通道选择算法。将本文所提出的情绪脑电通道选择模块嵌入到脑电情绪识别模型中,在模型推理执行情绪任务的同时进行动态脑电通道选择,即数据驱动的方式下联合训练脑电通道选择模块和脑电情绪识别网络的参数。统计每个脑电通道被选中的频次并排序,分别选择不同通道数进行情绪识别任务。实验结果表明,当脑电通道数从32导联减少到15导联时,情绪识别性能仅下降不到1%。（2）针对脑电信号噪声多、非平稳性且不同受试者（被试）情绪表达存在差异,从而导致情绪脑电样本特征分布不均匀引起跨被试情绪识别模型泛化性能差的问题,提出了一种面向情绪脑电特征分布不均匀的双策略训练算法。结合提升算法（Boost）和梯度下降法（Gradient Descent）两种训练策略交替更新脑电情绪识别模型调整特征分布以提取更鲁棒的情绪特征。提升算法更新输入情绪脑电数据集的样本权重,梯度下降法在模型推理过程中更新网络参数。可视化和情绪识别性能实验结果表明,该方法有效调整了情绪脑电样本特征的分布,提高了跨被试脑电情绪识别性能,在效价、唤醒和优势度三个维度上的准确率分别达到了71.25%、71.48%和71.80%。（3）针对单一模态脑电信号难以准确反映人的情绪状态的问题,提出了一种融合脑电和外围生理信号的多模态情绪识别方法。该方法是一种端到端的观测级融合方法,首先搭建了多模态情绪识别模型,通过多模态缩放层架构提取到脑电、肌电和皮肤电信号的浅层情绪特征表示,将其堆叠成三维多模态类频谱特征张量;后接三层卷积层进行特征变换和模态融合用于后续的情绪分类;最后搭建了多模态情绪识别总体框架,通过结合提升算法和梯度下降法的双策略训练算法训练多模态情绪识别模型。经过实验验证,在融合三种模态的生理信号时情绪识别性能较单模态和双模态组合的结果更优。综上,本文使用深度学习方法主要对情绪脑电通道选择、脑电情绪识别方法和多模态融合情绪识别方法进行了研究,在跨被试情绪识别的任务上均表现出了较优的性能,对于生理信号情绪识别的应用落地具有重要的意义。