群体行为识别是计算机视觉领域一项具有挑战性的任务。不同于个体行为,群体行为过程具有复杂的多人关系,发现群体中关键的交互行为具有重要的研究价值。群体中个体的行为具有多样性,特征信息复杂。群体的交互行为具有时间动态性,交互信息难以获取。本文在总结现有群体行为识别方法的基础上,考虑到个体行为的多样性和群体行为的时间动态性,主要解决了群体行为识别任务中以下几个问题:第一,在个体特征信息复杂的情况下,如何实现个体行为特征时间编码;第二,在群体交互信息难以获取情况下,如何捕获群体交互过程中双方个体动态依赖的特征。针对这些问题,本文做出了以下工作:（1）针对群体建模的过程中个体特征信息复杂的问题,本文设计了一种融合时间上下文图网络用于群体行为识别。该网络可以分析个体行为特征的时间上下文依赖关系,通过对个体特征采取通道位移的策略,可以捕获个体的时间上下文特征。在图网络推理阶段,使用图网络表示群体行为的关键信息,并采取多图的策略对群体行为进行建模。在建模的过程中引入个体时间上下文特征,可以提高模型的准确性。（2）针对群体建模过程中难以捕获群体交互信息的问题,本文设计了一种Granger因果关系时空图网络用于群体行为识别。该网络使用Granger因果检测分析多人行为的因果交互信息,描述双方个体动态依赖的特征,利用个体间的因果关系强弱关系来捕获群体中的因果关系对。网络根据交互依赖关系,将交互双方的特征融合,并且在融合的过程中考虑了通道比例和时序位移。网络还设计了多尺度距离约束策略约束个体的交互范围。在图网络推理阶段,通过图网络表示群体行为的交互关键信息。与传统方法相比,该网络在外观位置信息的基础上引入了因果交互信息,可以更好的表达群体行为的交互特征。本文的个体和群体行为识别工作均在统一的框架上实现,并在公开数据集上验证了网络的有效性。