随着人工智能的快速发展,行人动作识别在视频监控、人机交互、动作分析及智能安防等领域得到了越来越广泛的应用。传统的行人动作识别大都是基于RGB视频或图像进行识别,但由于目标遮挡、光照变化和背景复杂等问题,行人动作识别效果并不理想。随着Kinect等深度传感器的普及,基于骨骼点的行人动作识别受到了广泛关注。现阶段对RGB视频进行基于骨骼点的动作识别方法中,通常采用骨骼点检测网络和基于骨骼点的动作识别网络相结合的二级串行结构,但这种方法的动作识别结果通常受骨骼点检测结果的影响比较大,为了避免因骨骼点检测不准确导致的基于骨骼点的动作识别错误问题,本文提出了一种基于骨骼点的端到端行人动作识别算法,该算法设计的端到端行人动作识别网络包含了骨骼点检测模块和基于骨骼点动作识别模块,将二级串行网络优化为一个端到端动作识别网络。在骨骼点检测模块,本文设计了以ResNet-50为基干网络的骨骼点检测结构,对输入的图像序列提取骨骼点信息,得到行人骨骼点的三维信息（2D坐标位置和是否为骨骼点的置信度分数）;在动作识别模块设计了一个双流网络结构,一流是骨骼点的三维坐标,另一流是帧间骨骼点的运动信息即坐标值的差值;最后针对提出的端到端网络设计了一种多任务目标损失函数:将骨骼点检测模块的定位损失和识别模块的识别损失线性组合,这样不仅可以由骨骼点检测结果正向影响识别结果,识别结果也可以反馈调整骨骼点检测精度。为了验证本文提出的基于骨骼点的端到端行人动作识别算法的有效性,分别在公开数据集 NTU RGB-D 和 Northwestern-UCLA Multiview Action 3D Dataset（Northwestern-UCLA）上进行了实验验证。本文在NTURGB-D数据集的跨个体和跨视角方式中行人动作识别准确率分别达到了 85.9%和93.2%;在Northwestern-UCLA数据集的跨个体和跨视角方式中行人动作识别准确率分别达到了 87.8%和95.7%。相对于AlphaPose（RMPE:Regional Multi-Person Pose Estimation）和 ST-GCN（Spatial Temporal Graph Convolutional Networks）二级串行方法,本文在NTU RGB-D数据集的跨个体和跨视角方式中行人动作识别准确率分别提高了 12.4%和13.3%;在Northwestern-UCLA数据集的跨个体和跨视角方式中行人动作识别准确率分别提高了 8.3%和10.5%,从而验证了本文方法的有效性。在骨骼点检测方面,相对于AlphaPose和ST-GCN二级串行方法,本文的端到端方法在NTU RGB-D数据集和Northwestern-UCLA数据集上的骨骼点平均检测精度分别提高了 8.5%和11.4%,也从另一方面证明了本文算法中识别网络对检测结果的修订效果。在运行速度方面,本文的帧率在NTU RGB-D数据集和Northwestern-UCLA数据集上分别达到了 21和25,能够满足实时性的要求。实验结果证明,本文提出的基于骨骼点的端到端行人动作识别算法能够对视频中的行人动作进行有效的识别。