基于视频的双人交互行为识别是图像处理与计算机视觉领域中的热点问题。基于RGB视频的动作识别由于缺乏深度信息,导致识别结果的精确性和实时性没有满足相关行业的实用要求。近年微软推出的Kinect设备能够直接获取带有深度信息的关节点数据,其为RGB视频信息提供了有效的信息补充。目前,深度学习网络可以直接提取图像中的深层次信息,大幅度提高了动作识别的准确性。因此,本文基于RGB和关节点数据双流信息融合的卷积神经网络(Convolutional Neural Networks,CNN)结构模型展开研究。首先,关节点数据需要进行编码图像化之后才能与CNN结合进行识别,而当前的编码图像化方法中,对关节点间的空间位置与双人交互之间的关系考虑不足。因此,利用关节点间的距离特征对关节点编码图像化,将编码图送入CNN学习深层次特征,以实现双人交互动作的识别。算法可操作性强,且实时性良好。其次,在已有研究中,关节点信息编码图像化过程造成了空间位置信息与时序关系的严重损失。因此,提出了包含时空信息的关节点运动图编码方式,并将其与CNN网络结合以获得良好的识别结果。该方法无需繁琐的关节点预处理步骤,实现了实时处理。最后,依据RGB视频和关节点数据的各自特性,提出了一种基于RGB和关节点数据双流信息融合的CNN结构模型。其中,前者利用关键帧获得时空图,后者构建关节点运动图,将两种特征图分别送入CNN网络获得识别分数,并做决策级融合。该方法简单易于实现,具备良好的迁移性,成功建立了多源信息融合的双人交互行为识别框架。