基于骨架序列的人体行为识别模型研究

来源 :中国矿业大学 | 被引量 : 0次 | 上传用户:lvlaoban0
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
5G等通信技术的飞速发展使得视频越来越成为信息呈现和传播的主要载体,大量的视频信息已经超出了人脑的处理范围,迫切需要借助于计算机强大的分析和处理能力,解决日益增加的视觉感知计算需求。人体行为识别作为视觉感知计算的一个重要分支,其结果可用于智能视频监控、智能医疗、人机交互、无人驾驶等多个领域,具有非常重要的研究意义。传统的行为识别方法主要以RGB视频作为输入,但RGB视频存在数据量大、语义性低、容易使模型受到背景等无关信息干扰等问题,而骨架序列仅记录人体关节点的位置坐标,数据量小、语义性高,且不记录背景等无关信息,模型表达的鲁棒性强。因此,基于骨架序列的人体行为识别模型的研究越来越受到学术界的关注。其中,采用图卷积神经网络的方法根据人体的物理结构将骨架序列编码为一张时空图,然后进行时空特征的提取和分类,取得了较高的识别精度。然而,现有方法仍存在时间建模尺度单一、空间建模能力不足和时空特征耦合不佳等三个问题。为此,本文提出了四种基于图卷积神经网络的人体骨架行为识别网络模型系统地解决这些问题,具体介绍如下:(1)本文提出了一种多流融合和增强时空的图卷积网络模型MS-ESTGCN。其中,a)设计多个大小不同的时间卷积核提取多尺度的时间特征,并采用密集连接的方式连接各时间图卷积子层,实现了时间特征的重用和聚合。b)设计了一种双分支空间增强结构,在MS-ESTGCN的基本模块中增加了一个空间图卷积分支以增强空间特征的提取能力。c)为了充分利用低层次特征,MS-ESTGCN采用四种空间信息(关节点、骨骼和它们的相对位置)和两种时间信息(关节点和骨骼的速率)作为输入,组成了六流的网络框架,增加网络输入特征。MS-ESTGCN的参数量为37.8M,在NTU-RGB+D 60数据集的跨对象评测方法下,识别精度达到了91.4%。(2)本文提出了一种强化空间和扩展时间的图卷积网络模型EEGCN。其中,a)采用单次聚合的方法连接多个时间图卷积子层,在提取多尺度时间特征的同时,还能大幅减少各层之间的连接数。b)设计了一种伪双流空间增强结构,该结构中的一个伪流可以增强静态的空间特征,另一个伪流可以增强动态的时间特征,进一步提高了网络性能。c)引入了一种通道注意力模块为时空特征图的通道重新赋权,实现更好的时空特征耦合。EEGCN的参数量为17.2M,在NTU-RGB+D 60数据集的跨对象评测方法下,识别精度为91.6%。(3)本文提出了一种单向金字塔图卷积网络模型SPGCN。其中,a)提出了一种单向金字塔图卷积结构用于提取时间特征,该种卷积通过一个多样化的时间卷积核类型池捕捉不同层次的时间信息。b)设计了一种基于共享图的伪双流空间增强结构,设置SPGCN基本模块中的两个空间图卷积层共享同一个自适应图,在保持性能的同时还能降低参数量。c)提出使用交叉熵和成对高斯两种损失函数,可以同时最大化行为的类间分离度和类内紧凑度。SPGCN的参数量为11.2M,在NTU-RGB+D 60数据集的跨对象评测方法下,识别精度为91.1%。(4)本文提出了一种频率驱动通道注意力增强的全尺度时间建模网络模型FF-TMN。其中,a)提出了一种全尺度时间建模方法,各时间图卷积子层通过采用从1到9范围内的所有可用卷积核,实现更加全面的时间建模。b)提出了一种频率驱动的通道注意力模块,通过采用不同的策略,即全局平均池化和离散余弦变换,将特征图的空间和时间特征嵌入全局通道描述符,实现更好的时空特征耦合。FF-TMN的参数量为5.0M,在NTU-RGB+D 60数据集的跨对象评测方法下,识别精度为91.2%。总之,本文所提出的四种模型均达到了业界领先的行为识别精度,且网络参数量依次下降显著。
其他文献
近年来,全球范围内极端天气事件频发,诸如极端强降水、台风、洪涝等突发性强、局地性明显的气象灾害事件对人类社会的可持续发展构成了重大威胁、给自然环境以及经济社会也造成了严重的危害。基于此,科学地认识极端天气发生机理及其演化规律,有效地提供及时准确的极端天气事件短临预报,充分地提升防灾减灾应急能力是保障人民生产生活的重大需求也是当前世界各国研究的热点。面对短临预报对时效性和准确性的高要求,就必须拥有并
学位
人工冻结技术是解决富含水地层中矿井建设的有效加固方法,而冻结温度场的演变规律是冻结加固效果分析的直接依据。在斜井帷幕冻结加固施工中,地下水的渗流会明显影响冻结温度场的演变过程,而冻结壁形成过程也会明显干扰地下渗流场的分布特征,甚至会产生明显的绕流效应。针对斜井帷幕冻结施工过程中的渗流场和温度场的耦合作用,考虑冻结壁形成过程中的绕流影响,通过理论分析、数值模拟、物理试验和现场实测的方法,建立了斜井帷
学位
学位
宫颈癌是一种常见的妇科恶性肿瘤,严重威胁女性健康。紫杉醇(paclitaxel,PTX)作为一线化疗药物,在宫颈癌治疗中发挥着重要的作用。然而由于肿瘤的复杂性,传统化疗药物单一的抗肿瘤机制无法对抗癌症进展过程中复杂的信号通路变化。因此,针对不同靶点或不同抗癌机制的两种或两种以上药物的联合治疗方案一直备受关注。其中,化疗联合基因治疗作为新兴的治疗策略,在肿瘤治疗中具有良好的应用前景。基因治疗通过对涉
学位
在选煤厂成本构成中,煤泥水处理占选煤厂基建费40%以上,占运行费30%以上,因此,降低粉煤的入选量,实现选前脱粉减轻煤泥水系统负荷及湿煤泥量,是减少选煤厂成本的最好方法之一。然而,受目前筛分技术在潮湿细粒煤炭深度筛分时黏结堵孔的制约国内动力煤选煤厂大多只能采用13mm左右分级进行选前脱粉,可是随着采煤机械化程度的提高,井下粉煤含量不断增加,小于13mm的末煤含量最高能达到70-80%,若将如此大量
学位
学位