深度学习多人姿态估计的轻量化研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:yinyilin183
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多人姿态估计任务可以概括为两个阶段,第一阶段将输入图像中人体检测出来(人体检测),第二阶段基于第一阶段检测出来的各个人体,进一步将其骨骼关键点位置定位出来(单人姿态估计)。多人姿态估计在人机交互、电影制作和安全监控等领域有巨大的应用背景。在技术方面,轻量化是深度学习多人姿态估计中近年来的研究热点之一。本文对深度学习多人姿态估计的轻量化方法进行了探索和研究,主要研究工作包括:针对单人姿态估计中目前最主流的高分辨网络(HRNet),构建了轻量且高效的人体姿态估计模型。提出了轻量化模块H-Blocks,其通过融合深度可分离卷积进行轻量化,通过注意力机制和Mish激活函数保持轻量化模型的性能。提出了使用像素重组上采样到高分辨网络的方法,减少了网络特征的损失。提出了使用按通道级联的方法,优化了高分辨网络的输出结构。提出了H随机擦除,对数据进行增强,其利用小尺度擦除手段有效匹配了关键点定位任务的特性。提出了高分辨网络中使用基于泰勒公式的关键点解码方法,降低人体姿态估计中的量化误差。对于提出的方法,本文在国际知名的MPII人体姿态估计数据集和COCO人体姿态估计数据集上设计了一系列实验进行验证。验证结果表明,在相同精度的条件下,本文模型的参数量和计算量分别降低了62%和40%,明显优于其它轻量化模型。针对人体检测中目前主流的YOLOv4-Tiny轻量化模型,进一步提出了两个改进方法:S-Blocks和双注意力机制子网。提出了特征提取模块S-Blocks进一步降低了模型的计算量并提升推理速度。更具体地说,S-Blocks模块借鉴Inception的思想,利用点卷积降低模型的计算量。提出了由空间注意力机制和通道注意力机制共同构成的双注意力机制子网,加强主干网络对重点信息的提取。对于提出的方法,本文在国际知名的VOC目标检测数据集和COCO目标检测数据集上设计了实验进行验证。验证结果表明,相对于标杆网络YOLOv4-Tiny,本文改进后的方法在速度提升6%的条件下,m AP提升了1.9%。综合以上提出单人姿态估计和人体检测方法,本文对多人姿态估计整体模型在COCO数据集上进行了验证,模型的平均精度(AP)达到了74.2%。
其他文献
在室外卫星信号稳定的环境下,无人机通过使用GNSS定位系统可以执行物资配送、街头巡逻等自主飞行任务。但是在一些室内或者周围建筑较为复杂的环境下,无人机的飞行主要还是依靠专业的飞手进行操作。因此,设计出在多种环境中均能实现定点悬停以及自主飞行的无人机控制系统可以满足无人机发展的需求,这对提高无人机飞行的安全性以及应用领域的拓展具有重要意义。本文对实验室自主研发的飞控系统进行改进,设计一种基于多传感器
国家管辖范围以外区域海洋生物多样性(BBNJ)养护和可持续利用的国际谈判行将进入政府间谈判第四次大会,这也是各国预计将达成协定的关键阶段。各方在BBNJ国际协定谈判中尚面临一些难以解决的重大挑战,能否解决这些挑战将直接决定BBNJ国际协定能否达成。作为人类命运共同体在海洋领域具体体现的海洋命运共同体理念,可以引导BBNJ国际协定谈判并克服目前谈判中所面临的主要挑战。海洋命运共同体理念的内涵及其海洋
以面向雷电预报的雷达、卫星遥感资料同化及其应用为研究目的,利用NCEP资料、新一代多普勒雷达网、FY2C气象卫星、闪电定位仪网、自动气象站等观测资料的诊断、同化模拟以及理论分析等方法,对气象遥感资料的同化设计及其在雷暴天气条件下雷电预测方面的应用进行了综合研究和初步分析。主要得到了以下结论:1)雷达资料间接同化方面:以夏季暴雨为研究对象,用MUSCAT技术做双多普勒雷达风场反演资料的间接同化,与非
文本分类是自然语言处理领域中最重要的任务之一。在信息爆炸的大数据时代下,海量文本信息源源不断地产生并推送到人们手中,但人们通常只需要自己感兴趣的信息,因此,对海量文本信息做好分类管理至关重要。本文着重以深度学习方法为基础,围绕当前文本分类模型存在语义信息、标签信息以及对中文文本表示上考虑不全面的问题展开研究,面向不同类型的文本分类任务构建高效且适用的分类模型,以期提升文本分类精度。本文的具体创新与
随着社会医疗卫生水平的提高,不断上升的疫苗需求量导致疫苗冷链配送问题面临极大的挑战。配送过程中的大量碳排放将污染大气环境,因此需要对配送车辆的路径进行合理规划,使配送方案在满足人们疫苗需求的同时,降低运输成本和对环境的负面影响。烟花算法作为一种群智能算法,结构简单,求解效率较高,适用于求解物流路径优化这类NP-hard问题。基于上述背景,本文对多目标烟花算法及其在低碳疫苗冷链配送问题中的应用进行研
近年来,随着深度学习的迅猛发展,超分辨率重建技术得广泛关注。与此同时,随着注意力机制在图像分割、检测等领域大放光彩,研究者也逐渐将注意力机制引入超分辨率方向,并取得了众多显著成果。本文基于注意力机制对超分辨率重建在单一图像和视频方面进行探索性和创新性的研究,并取得了以下成果。针对目前超分辨率网络存在着通道权重的预测破坏了每个通道与其权重的直接对应关系的问题,以及现有网络仅仅只考虑一阶或二阶通道注意
自动分割出CT图像序列中的肾脏及肿瘤目标可为医生在临床诊断中提供定量的诊断依据,当前基于深度学习的三维分割技术得到了广泛的研究,然而由于CT图像中肾脏及肿瘤目标形状复杂多样,且存在着肿瘤目标小、样本数少等问题,现有的三维分割网络并不能很好的分割出肿瘤等小目标,如何准确分割出肾脏肿瘤仍是一个富有挑战性的问题。同时当前的三维深度分割网络模型大、参数多、且对计算机硬件要求高,这也给模型在实际部署中带来巨
在我国基础设施建设不断发展的今天,公路建设作为基础建设中重要的环节之一,也得到了飞速的发展,但伴随而来的道路养护问题。道路养护的首要环节是检测路面损坏,其中,道路裂缝是在路面检测过程中最为常见的路面病害类型之一。论文以道路裂缝作为研究内容,采用深度学习的语义分割算法来检测道路裂缝,围绕路面裂缝图像的预处理、裂缝检测算法以及裂缝的定量分析展开研究。首先,对采集到的裂缝图像进行滤波操作,同时结合裂缝图
车辆检测和车型识别是智能交通领域中的重要研究内容。随着人工智能技术的发展,在智能交通领域运用深度学习解决车辆检测和车型识别问题已经成为一种研究趋势。本文基于深度学习方法对车辆检测和车型识别进行了研究,主要研究内容如下:(1)针对目前车辆检测数据库较少的问题,本文选择南京信息工程大学周围的交通环境作为研究背景,从样本的拍摄采集、正负样本及模糊样本的筛选和标签标注等方面详细介绍了本文构建的车辆检测数据
随着智能设备的广泛运用,包含用户信息的数据不断涌现,基于大数据的人工智能技术有了质的飞跃。但是机遇与挑战并存,人工智能技术利用数据为各行各业带来增益的同时,用户隐私数据泄露的问题也随之出现。因此联邦学习应运而生,这是一种特殊的分布式机器学习框架,它能够联合多客户端训练的同时保护数据隐私,因为客户端的数据不需要离开本地。这样的学习框架为人工智能技术面临的挑战提供了解决方案。本文针对现有联邦学习的缺点