基于注意力机制骨架动作识别的算法研究

来源 :江西理工大学 | 被引量 : 0次 | 上传用户:nannalee
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代信息技术的发展,视频增长非常迅速,现已成为当今主流媒体之一。视频内容的理解成为了现阶段计算机视觉领域的研究热点。动作识别发展从传统的手工提取特征到如今利用图卷积网络模型,用于研究的方法越来越高效,模型越来越自动,所取得的效果也越来越显著。大部分提出的模型为在固有的数据集中获得较好的视频表示,可模式化视频中的空间静态和时间动态信息。但由于人体动作识别使用三维运动信息,在获取时空信息和在真实视频中快速准确的识别人的动作仍存在很多问题。为解决这些问题,本文从人体骨架、图像卷积特征、视频时空卷积几方面进行研究,利用图卷积进行动作识别。本文的主要工作如下:(1)为了增加更具特征性的骨架运动信息获取的准确率,提出了一个注意力增强有向图卷积网络(Attention Enhanced Direct Graph Convolutional Network,ADGCN)。由于在日常生活中对于骨架动作识别的应用通常是将骨骼和关节信息作为输入数据,并对输入数据统一进行特征提取,这种方式获取的输入数据没有考虑到关节与骨骼之间的运动信息以及动作视频中的关键动作或关节。因此本文提出的ADGCN模型首先采用一个四流框架,将关节信息、骨骼信息、关节运动信息和骨骼运动信息这四种信息输入到四流框架中。然后将输入的数据传送到有向图卷积网络模型中提取关节和骨骼之间的依赖关系,再利用提出的时空通道注意力网络,增强每个视频的关键帧或每一帧中的关键关节的时间、空间以及通道的信息。模型在NTU-RGB+D和Kinetics-Skeleton数据集上进行训练、验证和测试,并在NTU-RGB+D数据集上进行消融实验,结果表明,提出的ADGCN模型相比于已有的模型具备一定的优势。(2)为使骨架模型能识别出特征提取的时空信息,提出一个中心差分转换器图卷积网络(Central Difference Transformer Graph Network,CDTG)。由于大部分骨架动作识别模型都聚焦节点信息,并获取局部的时空依赖关系,这种方法获取的信息没有意识到节点间梯度信息和全局时空上下文对动作识别的重要性。而本文提出的CDTG模型首先将关节和骨骼的运动信息输入到模型中,经过处理后将数据传送到本文网络中进行聚焦节点和节点间的梯度信息,增加网络的表示能力和泛化能力,随后利用提出的时空转换器图卷积,提取出中心差分网络中的时空特征,和被关节标记的空间和时间依赖关系。最后将CDTG模型运用到NTU-RGB+D和Kinetics-Skeleton数据集上,结果证明,与其他已有模型对比,CDTG模型具有更好的识别性能。
其他文献
传统的气体绝缘组合电器(gas insulated switchgear, GIS)在线监测装置无法排除外部局部放电的干扰,为解决这一问题,提出一种基于多传感器联合诊断的GIS外部局部放电抗干扰技术。首先,对比外部局部放电与内部局部放电信号谱图特征的区别,指出特高频信号的传输衰减特性是导致谱图特征区别的原因。然后,提出一种识别外部局部放电信号的算法,通过比较接收到局部放电的传感器与其近邻的多个传感
无论在直接型还是间接型X射线探测领域内,金属卤化物钙钛矿或类钙钛矿都是一类非常有前景的探测材料。由于其优越的性能、强X射线阻挡能力以及低成本优势,这类新型材料的X射线探测研究已经取得了很大进展,引起了国际范围内的关注。同时,基于这类材料的X射线成像系统也已被成功开发。在这篇综述中,将先介绍X射线探测与成像的基本原理,再总结基于新型金属卤化物半导体和闪烁体的直接型和间接型X射线探测与成像的进展,最后
警用防刺服作为个体防护产品,为保卫警员生命健康安全提供了重要支撑。当前,国内警用防刺服因材质、重量等原因存在穿着率较低等情况。本文从警员基本穿着需求和安全理念出发,概述了警用防刺服的特点及其发展现状,通过对比国内外防刺服的标准,探讨分析了未来警用防刺服领域的发展方向。
目的探讨腰5骶1前路手术的可行性;方法通过测量20具正常人体标本的测量主动脉分叉与髂总静脉汇合点至腰5椎体下缘的距离,髂总静脉内缘在腰5骶1椎间盘水平的距离,得出相关数据;结果腹主动脉分叉至腰5椎体下缘的距离为40.50±9.40mm,髂总静脉汇合点至腰5椎体下缘的距离为:27.80±8.60mm,两髂总静脉内缘在腰5椎体下缘水平的距离为:37.50±1.30mm,第一骶孔间距离为:29.30±1
本文从检测技术机动性、时效性、辐射剂量、节能环保、底片储存等几个方面与传统胶片成像技术进行了对比,以此说明射线数字成像技术已能够满足目前火力发电厂检修射线检测的施工进度和质量要求。X数字射线技术避免了药液对环境的污染,同时数字图像更便于图像的测量、储存、检索、统计与再现,易于实现远程传输及专家评审,便于实现工程质量的监督管理。
随着中国市场经济的快速发展和建筑行业规模日益壮大,施工企业内部的竞争也日益加剧,建筑施工企业管理层对项目成本管理工作的关注程度逐步提升。面对当下建筑行业不断创新、竞争日趋激烈的大趋势,企业在激烈的市场竞争中面临的挑战为能否提升工程项目的成本管理水平。JY公司是省内本土的一家建筑施工单位,目前业务发展能力较弱,资金实力、项目管理经验都落后于中字头的大型建筑企业。为了使JY公司摆脱目前的竞争格局,企业
学位
国企党建工作会议召开以来,国有企业党的建设工作重要性日益凸显。国家油气管网改革后,中国石化天然气分公司所属单位大量重新组建,新组建单位党建工作基础薄弱等问题普遍存在。本文列举新组建国有企业党建工作常见问题,分析存在原因,给出意见建议。
五竹亭位于圆明园长春园西洋楼景区,是一座采用中式做法的景观建筑。论文通过对五竹亭现状及现存与之相关的图文档案的研究,考证五竹亭的建置变迁、建筑结构、纹饰装修特点,并重点对其“仿竹”做法的产生、具体作法及其演绎进行研究,同时与故宫倦勤斋、静明园竹垆山房等建筑进行对比。总结其“仿竹”是清中期普遍施用于皇家建筑中的一种现象。
“用间”在《史记》关于战国和秦汉时期的战争记载中多处出现。通过最早的“用间”理论作品《孙子兵法·用间篇》对《史记》“用间”策略进行分类,可以发现司马迁的记载以“内间”为主,辅之以“死间”“反间”“生间”,同时还存在无法分类的部分。这反映出战国、秦汉时期“用间”实践与孙子“用间”理论之间有所区别。其中,《史记》记载战事中的“反间”内涵扩大化了,实际上类似于孙子所言“乡间、内间、反间”的结合体。这导致