行为识别一直以来都是计算机视觉领域的热门研究内容,其应用前景非常广泛,经济效益也颇为可观。当前行为识别领域一直致力于对可见光视频进行分析研究。近年来不断有新的技术与方法被提出,并取得突破性的进展。但在红外行为识别领域,目前的研究工作并不多。然而,红外视频不仅适用于全天候监控场景,同时具有较好的隐私保护性,因此具有重要的研究价值。为此,本文展开红外视频中的人体行为识别方法研究。具体研究内容如下:本文对已发布的可见光行为数据集及红外行为识别数据集(Infrared Action Recognition,Inf AR)进行充分调研,参考以上数据集的构建方法将Inf AR数据集数据量扩充了一倍,并对扩充后的数据集进行评估。补充的数据与原数据集均在真实场景中录制,且新数据同样考虑遮挡程度、视角变化、季节变化等因素影响。在新数据集上,本文选取一些行为识别领域常用方法对其进行了全面评估。目前大多行为识别方法均是针对整幅图像提取特征,掺合进大量干扰信息,进而影响最终识别准确率。针对这一类问题,本文提出一种基于显著性区域的红外行为识别方法。该方法首先对视频序列提取光流运动历史图(Optical Flow-Motion History Image,OF-MHI)特征,获取视频序列的运动信息。然后利用类别激活映射(Class Activation Map,CAM)方法进一步消除运动目标干扰,获得兴趣目标显著性区域,进而获得显著性区域特征图。最后输入卷积神经网络(Convolutional Neural Network,CNN)提取最终特征,并利用支持向量机(Support Vector Machine,SVM)获得识别结果。与传统方法相比,实验结果表明该方法有效地提升了识别准确率。针对目前基于双通道行为识别工作中,对外形与运动信息利用不合理的问题,本文提出一种改进的双通道红外行为识别方法。在外形通道中,将姿势特征作为外形信息,输入C3D网络提取特征;在运动通道中,提取原始视频光流序列作为运动信息的表达,输入C3D网络提取特征。接着采用后期融合方式融合双通道特征,最后输入SVM进行识别。实验结果表明,该方法比现有双通道方法具有更高准确率。