近年来,随着计算机视觉技术和计算机硬件的迅速发展,动作识别作为计算机视觉中的热门研究领域,已经在视频监控、人机交互、虚拟现实等领域得到了广泛的应用。目前,动作识别的研究主要集中在人类动作识别领域,除此之外,工程机械的动作识别也开始获得研究人员的关注。建筑行业管理人员可以通过工程机械的动作识别迅速掌握设备的施工信息,及时做出判断并采取应对措施,以达到提高生产效率、节约成本和节能减排的目的。但是在工程机械动作识别领域中存在着数据集不充分、算法相对不丰富等问题。本研究为了解决这些问题,做出了三点贡献。首先,本研究开发了一个可用于工程机械动作识别的开源数据集,该数据由2064个视频序列组成,包括两种工程机械,五种作业动作,并按照6-2-2的比例将其划分为训练集、验证集和测试集。其次,本研究基于深度学习的思想,分别采用卷积神经网络和长短期记忆网络提取视频序列的图像特征和时间特征,搭建了一个工程机械动作识别模型,该模型在本研究开发的数据集上取得了76.25%的F-1分数,与类似的工程机械动作识别模型CNN-DLSTM具有相当的识别性能（F-1分数为75.25%）。最后,本研究选取三维卷积网络和双流卷积网络作为人类动作识别方法的代表,在本研究的数据集上对他们进行了测试,结果显示它们在工程机械动作识别任务中也具有良好的表现（F-1分数分别为73.55%和76.26%）。因此,本研究对目前仍不完善的工程机械动作识别数据集进行了补充,提供了一个简单的工程机械动作识别模型来进行测试,初步证明了人类动作识别方法具有用于工程机械动作识别的潜力。