伴随着经济、科技水平的不断提高,人们在日常生活中对机器智能化的需求也日益增加。在如今的人工智能浪潮中,机器是否具有情感,是决定机器智能化和人性化程度的关键因素。为此,近年来很多人工智能领域的专家都展开了对情感计算的相关研究。而情感识别正是情感计算领域中最为关键的一项技术。目前关于情感识别的研究通常都只关注于单一模态,而人类的情感表达方式是多模态的,因此,仅基于单模态的情感识别方法可能无法捕捉到个体完整的深层情感。为此,本文在单模态情感识别的基础上,设计了基于姿态和面部表情这两种紧密耦合且富含情感的模态的双模态情感识别系统进行情感识别研究。本文主要工作如下:（1）建立了视觉-信道状态信息双模态情感数据集（Vision-CSI emotion dataset,VCED）。与依赖于专业的视觉设备或者穿戴式传感器的主流姿态捕捉方法不同,本文创新性地使用商用Wi-Fi设备来捕捉人体姿态数据,从Wi-Fi物理层的信道状态信息中分析姿态情感信息。同时使用普通摄像设备采集面部表情数据,从而实现了一种低成本、非接触式、非侵入式、不干扰情感表达的情感数据采集方法,并构建了一个新颖的视觉-信道状态信息情感数据库。其数据来源于10名志愿者,共计1750个有效情感样本。（2）提出了一种基于Wi-Fi信道状态信息与视觉数据的决策层融合的情感识别方法。并在VCED上对该方法进行了验证。实验结果表明了融合方法的有效性,整体识别准确率为83.24%,而基于姿态和面部表情的单模态识别方法的整体识别精度分别为66.48%和66.67%。（3）提出了一种基于多源学习的双模态情感识别方法,充分利用双模态的时空特征和相关性来进行细粒度的情感识别研究。实验结果表明多源学习的方法在降低计算复杂度的同时,也取得了较好的识别效果,其整体识别准确率达到81.91%。