随着计算机视觉技术的迅猛发展,动作识别作为其重要的研究方向吸引了越来越多科研者的研究兴趣。当今,人体动作识别技术在交通、医学、体育、教育、虚拟现实、安防监控等领域有着广泛的应用空间以及巨大的发展前景。按输入数据类型划分,动作识别任务可以分为基于骨骼序列的动作识别和基于视频的动作识别。其中骨骼序列记录了连续时间内人体主要关节点的特征信息,如三维空间坐标。本文对这两种识别任务进行了详细地研究。结合主流算法在这两种任务上的表现,分别提出了相应的改进算法。本文研究内容如下:1.在基于骨骼序列的动作识别方面,本文受人类视觉机制的启发,讨论了注意力机制和共现特征机制的重要性,在空时图卷积网络(ST-GCN)的基础上,提出了适用于其的注意力分支和共现特征学习分支,从而形成动作识别的多任务框架。实验证明提出的算法性能远远优于ST-GCN和其他主流算法。最后进行消融实验,说明并解释了各分支的有效性以及多任务框架的优越性。2.在基于视频的动作识别方面,本文针对双流卷积网络需要预先计算光流从而导致计算速度慢的问题,提出了使用轨迹滤波器和随机跨帧融合的组合策略替代光流。其中,轨迹滤波器建模动作的时间联系,随机跨帧融合进一步提取高级时间特征。实验表明本文提出的替代光流的卷积网络在计算速度上远优于双流卷积网络,同时在识别精度方面,其与当前主流替代光流的算法相比具有极强的竞争力。3.人体姿态估计与动作识别联系紧密。本文总结了自底向上的姿态估计代表算法Open Pose和自顶向下的代表算法Alapha Pose。并通过一系列实验进行性能比较,本文最终使用Open Pose提取动作视频的骨骼序列,从而可以对视频使用基于骨骼序列的动作识别算法进行分类。