视频中的行为识别一直以来都是计算机视觉社区中最热门并且悬而未决的问题之一。行为识别不仅能够直接运用在智能监控,无人驾驶,人机交互等多个领域,并且是许多其他视频研究任务的基础。随着深度学习技术的发展,行为识别这一领域涌现了许多基于深度神经网络的新算法。主流的方法大体上分为3D卷积,双流,循环神经网络三个家族。依靠这些方法,视频的时空特征能够被有效地挖掘和运用。这些模型能够在UCF101,HMDB51,Kinetics等一般数据集上表现良好,却在一些细粒度行为识别的任务上不尽人意。我们认为,这些方法注重视频的表观特征以及运动特征的建模,却或多或少地忽视了视频中目标之间的交互,因而难以获得足够好的性能。这篇文章提出了一个运用图模型对视频中目标和场景的交互进行建模和推理的新框架:视频中的目标和与行为显著相关的场景区域首先被分别检测出来,它们的视觉与时空位置特征被提取出来作为图模型的节点,而目标之间的交互被表示为图模型的边。我们尝试使用了内积,双线性加权,多层感知机3种方式获得图模型的边的权值。在此基础上,使用了图卷积网络(graph convolution network,GCN[1])探究了目标之间的联系,并以此实现了场景信息与目标信息的融合。此外,鉴于内积法在探究特征之间的关系这一问题上的广泛应用,我们提出了共享参数和关系归一化两种方法优化基于内积法的关系模型。实验证明了,由于注重描述目标之间的交互,我们的算法能在细粒度的行为识别问题上取得比传统CNN更好的效果:在EPIC Kitchen动词分类问题的验证集上获得了43.6%的分类准确率,在VLOG测试集上的mean Average Precision（m AP）达到了47.0%,均超过了state-of-the-art。