随着计算机科学技术的日益成熟,如何让计算机理解多媒体中的信息已经成为计算机视觉领域的研究重点,其中图像识别已经取得了惊人的成果,但视频理解仍然面临着诸多挑战。“微动作”识别是指识别视频中人体的细微动作,这些动作无法进行伪装,可以直接反映人隐藏的真实心理状态。“微动作”的分析可应用于测谎、政治心理学分析等领域。不管在面试社交还是刑事审讯的场景中,对“微动作”的识别和分析都发挥着不可或缺的作用。传统的“微动作”识别主要依靠心理学家进行分析,本文中“微动作”识别以动作识别为基础。动作识别涉及时域维度的识别,类似于自然语言处理中使用的方法,需要进行语义及词语关联性的综合学习,动作识别也极其依赖于动作图像和时域信息的学习。将动作识别落地需要算法具有很强的实时性和较高的准确率。本文使用TSN中的采样方法,对视频进行解码和采样。针对视频背景杂乱,影响识别结果的问题,本文采用计算速度快的YOLO-V3目标检测网络预测采样帧中的人体框。对于动作识别网络计算速度和准确率之间的均衡,本文提出了一种2D卷积与3D卷积融合的动作识别网络模型。模型使用2D卷积提取RGB图像序列的空间特征图后,连接少量3D卷积,进行特征序列空间信息与时间信息的融合。本研究表明,该模型在保证识别准确率的条件下,加快了网络的计算速度,在NTU RGB+D 120“微动作”数据集上测试达到94.8%的准确率,对比TSN网络,准确率提升了 6.6%,对比I3D网络,算法时延约为I3D网络的1/3,证明本文模型算法的时效性相对更优。为了直观展示“微动作”识别模型的识别效果,本文设计并实现了一个“微动作”识别演示系统,对微动作识别进行了 Web页面的可视化展示。演示系统可以对上传的离线视频文件数据进行解码分析,使用本文提出的“微动作”识别算法,识别九种“微动作”视频,并将结果返回至前端页面,进行视频关键帧、识别时间及动作类别的显示。