随着深度学习在静态图像识别领域的广泛发展和应用,深度学习在视频领域的研究逐渐成为计算机视觉的重要研究方向。其中智能监控作为视频识别的主要应用场景也成为了热门研究课题。视频监控场景的行为识别任务由于画面视野较大,视频内容较长且画面中可能出现多个目标发生行为,不仅需要识别行为的类别,还需要检测行为发生的空间位置和时间位置。本文针对ActEV测评中的实际监控视频场景,提出由目标识别、多目标跟踪、行为识别与时域定位三个部分构成的视频行为识别框架。首先,使用预训练的YOLO v3模型对画面中出现的所有人和车辆进行目标识别,并使用卡尔曼滤波器和匈牙利算法对目标在视频中的移动进行目标跟踪,提取人物的局部视频序列,将候选视频序列作为行为识别与时域定位部分的输入。其次,对于行为识别与时域定位部分,本文提出了混合卷积残差网络和表示流网络融合的伪双流行为识别模型。采用三视图分解卷积层与二维卷积核混合的残差网络,使得网络在具有同样提取视频时空特征的情况下,相比传统三维卷积神经网络减少参数量和计算复杂度。表示流网络使用表示流层提取连续视频帧中的表示流信息,进一步提取视频中的运动特征。将两个网络的结果融合提升网络的整体识别准确率。行为识别与时域定位部分使用UCF-101数据集验证模型在通用行为类别下的识别效果。不使用表示流网络的单流模型在更少计算复杂度情况下可以达到较好的准确率,而使用了表示流网络的伪双流模型可以有效提高识别准确率,并保证满足实时检测的识别速度。对于整体行为识别框架的验证,本文针对ActEV评测项目,在其提供的包含真实场景监控视频数据的VIRAT数据集上验证,取得较实验室在ActEV 18中取得的结果更低的漏检率,能够更全面的检测并识别指定行为。