行为识别是计算机视觉领域一个重要的研究课题,有着十分广泛的应用前景。然而,目前大部分行为识别研究都是基于可见光视频,基于红外视频分析的研究还相对较少。针对这一问题,本文围绕着红外视频分析展开行为识别方法研究:首先构建了一个红外行为识别数据集;然后采用了多种特征评估方法对这个数据集进行评估;最后针对红外视频的特性,提出了一种改进的基于双通道卷积神经网络的行为识别方法。具体研究工作如下:基于对现有常用可见光数据集的充分调研,本文参考通用的数据集构建方法构建了一个新的红外行为识别(Infared Action Recognition,InfAR)视频数据集。该数据集中所有的红外视频均在真实场景中录制而成,总共包含了12种日常行为。同时,拍摄时还考虑了背景、遮挡、视角以及季节变化等因素。基于构建的红外数据集,本文从低层描述子、前后期融合、成像因素三个方面展开了评估。这里总共选取了10种不同的低层描述子,并使用了三种编码方法,同时也测试了两种核函数。实验结果表明密集轨迹(Dense Trajectory)特征能够取得较高的识别精度(68%),而梯度方向直方图(Histogram of Oriented Gradients,HOG)特征取得最差的识别精度(26%)。在前期和后期融合的评估中,总共选取了5种具有代表性的描述子。实验结果表明后期融合的效果要好于前期融合,同时也可以发现识别的精度并不随着融合特征个数的增加而提高。此外,本文还通过对2组不同的成像因素(“简单/复杂”,“夏季/冬季”)进行评估,实验结果表明成像因素对识别精度具有十分明显的影响。针对人工设计特征的低效和红外视频纹理特征不明显的问题,本文为红外视频改进了一种基于双通道卷积神经网络的行为识别方法。该方法通过结合外形通道学习到的外形信息和运动通道学习到的运动信息,得到一种较为全面的行为表达。然后再把该特征表达输入到支持向量机(Support Vector Machine,SVM)分类器中进行学习测试。实验结果表明,该方法能够有效地识别红外视频中的人类行为,且具有较强的鲁棒性。