基于ToF深度相机的货车点云分割与测量研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:greenecho
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文以装车工业现场货车测量与定位为背景,研究了基于传统方法和深度学习的货车点云分割与测量方法。点云语义分割是三维场景理解的基本任务,在无人驾驶、增强现实、机器人避障等领域获得广泛应用。基于聚类、RANSAC模型拟合等传统点云分割方法适合于规则几何物体分割,但是算法的参数需要手工设置。为了提高算法通用性,本文基于PointNet++基本框架,结合最新的Transformer技术和注意力机制实现KNN近邻的特征提取与聚合,研究了数据增强方法,在云端完成模型的训练与测试。本文的具体工作如下:(1)针对装车现场设计测量方案并完成点云融合与点云预处理。本文利用To F深度相机进行数据采集,设计了测量系统的基本结构参数,研究了点云配准和点云融合方法,分析了白天、夜晚测试环境下的点云数据特点,确定了直通滤波、体素滤波、统计滤波的顺序及方法。(2)基于欧式聚类、RANSAC模型拟合、法线差分等方法实现了传统货车点云分割,设计并实现了自注意力深度学习货车分割模型。针对车头和车厢分离的简单规则车体,基于欧式聚类初步分割出车头,然后基于RANSAC算法精确拟合前栏板平面方程。针对曲面底板、多层底板点云、非规则前栏板平面等复杂变形车体,首先,选择部分前车体利用DoN算法强化边缘信息并滤除平面信息,在切除底板和侧面栏板后渐进迭代所有直线方程确定前栏板位置。基于PointNet++基本框架以及Transformer、注意力机制及KNN近邻设计点云分割模型,完成数据增强、模型训练及测试。首先,基于注意力池化聚合采样点的KNN近邻局部特征,学习特征中重要信息并以此作为Transformer的输入嵌入;接着,堆积多层Transformer层进行高级语义特征提取并级联为全局特征;然后,局部特征和全局特征级联后送入全连接分割网络并输出分割结果;最后,自定义数据集并完成数据增强生成5580个样本的数据集。实测平均正确率为49.09%、平均交并比为18.28%。(3)基于RANSAC直线与平面拟合、Hough变换等方法实现了货车三维尺寸、偏移角度、车厢原点、车厢障碍的测量与定位。针对简单车体和复杂车体,采用RANSAC拟合渐进拟合车底板方程,迭代拟合两侧栏板的所有直线,确定两侧栏板的最高直线方程。最后,基于Hough和模型拟合确定剩余前栏板、障碍以及后栏板的直线方程。基于上述直线和平面方程即确定所有待测参数。实测绝对误差小于5厘米,平均相对误差小于2%,从数据采集到参数输出平均需要49秒,测量系统能够满足实时装车的要求。
其他文献
随着近年来科学技术的不断进步,无人驾驶技术得到业界的广泛关注,而无人车的定位是其中极其重要的一环,然而基于特征点的视觉SLAM算法在低纹理场景下缺少足够的特征点而易失效,同时视觉特征具有丰富的图像纹理信息与具有高精度环境几何结构信息的激光特征具有天然的互补性。基于此本文提出一种基于点、线特征的视觉激光融合的无人车定位算法,通过加入线特征的约束来增强系统鲁棒性和精度,实现无人车的运动位姿估计以及构建
太阳能无人机是具有重大战略意义和广泛应用价值的飞行器。为了确保飞行安全、提高任务执行能力,需要研制无人机任务管理计算机硬件平台,对各类应用载荷和非飞机平台外设进行管理和数据交互。该任务管理计算机硬件平台的研制具有极大的工程应用价值。本课题研制了一套用于无人机的任务管理计算机硬件平台。根据对任务管理计算机硬件平台性能、接口、体积和重量等需求分析,制定了总体方案。完成了关键器件选型、硬件电路设计和结构
随着海量高速移动互联网设备的普及,数据存储呈现爆炸性增长,传统的存储方案无法满足复杂多样、规模庞大的新型存储需求。随着海量数据的上云,给云平台中的存储系统带来了全方位的挑战。现有的云存储方案在适应系统架构多样性和削减存储空间内的冗余数据等方面仍存在不足,导致了存储空间资源大量浪费,进而增加了云平台中数据总拥有成本(存储、获取和迁移成本)。因此,本文将从云平台中提供的数据库文件存储和块存储两个方面展
喷嘴是双喷嘴挡板电液伺服阀中的重要零件,其设计要求高,加工难度大,并需要在加工结束后进行特殊的加工质量检测。常用的检测方法之一是喷柱测量法,操作方式为使用橡皮洗耳球吸取液压油,在喷嘴末端加压使液压油自喷嘴射出,人为观测射流形态,若射流保持一定距离的水平直射则视为喷嘴加工质量合格,若出现斜射、散射、螺旋等其他形状则视为不合格。这种方法在理论上没有足够的依据且依赖于操作人员的主观判断,在检测手法上效率
随着自动驾驶的发展,自动驾驶仿真测试技术受到越来越多人的关注。而其中的图像传感器由于价格低廉且获取信息足够丰富受到了自动驾驶系统开发者的青睐,图像算法数量增长迅猛,而对于图像算法的仿真测试需求也随之暴增。目前图像仿真测试方法有两种,第一种是使用相机采集的真实数据进行仿真测试,但是这种方式测试场景受限制,且驾驶条件改变也较为困难;第二种则是使用仿真软件进行测试,这种方法虽然场景搭建自由灵活、且能轻易
空间目标图像质量对空间在轨导航、空间目标识别与空间在轨操作等任务的成败有着重要的影响,而空间在轨任务的对象往往是非合作目标,没有参考图像作为标准。开展无参考标准的空间目标图像质量评估方法研究对未来在轨服务具有重要指导意义。本文重点开展单帧无参考标准的空间目标图像质量评估方法、基于目标三维重建结果的空间目标序列图像质量评估方法研究。首先,建立空间目标图像质量评估标准库。根据空间目标图像在采集过程中的
超声成像因其无创、方便、快捷的特点被广泛用于临床诊断。但是由于其成像特点导致图像对比度低、存在多种伪影以及噪声干扰,对医生的临床经验有着较高的要求。因此利用图像超分辨率技术改善超声图像质量具有重要的临床意义。相比于自然场景图像,超声图像缺少成对的高、低分辨率图像数据集,使得重建任务更具挑战性。本文针对超声图像的特点,采用生成对抗网络(Generative Adversarial Networks,
视频时序动作检测的目标是定位出未剪辑视频中动作片段的开始、结束时间点,并进行动作类别的分类识别,可应用于视频分析、视频搜索、智能安防等领域。现有时序动作检测技术已取得了令人瞩目的进步,但仍难以满足实际应用中的具体要求,因此是当前计算机视觉领域的热点研究问题之一。本文根据实际应用中定位视频动作的具体需求,从时序动作的准确检测、新类别动作的扩展检测、融合语义查询的动作定位三个方面提出解决方案,具体研究
随着信息化智能化社会的到来,在日常生活和工业生产中,数字图像作为人类感知信息的主要渠道变得越来越重要。但是由于复杂的成像环境,设备传输中的噪声往往会带来数字图像的退化。虽然当今时代微电子技术取得巨大进步,成像CMOS芯片像素越来越高,受噪声干扰越来越小。但硬件技术的进步并不能完全解决成像过程中的退化问题。因此本文的主要任务是:使用计算机软件算法解决去噪、去模糊、超分辨率和去马赛克这四种常见的图像复
在工业生产线上,机械臂让刚体零件的装配效率有着极大的提高,但对于线性柔软体零件,比如线缆、软绳等零件,由于自由度多,在受外在作用力的情况下,极易发生形变;并且难以根据机械臂末端位姿推测整个柔软体的位姿。因此当前柔软体装配仅靠机器人是难以完成的。本课题针对带线缆的装配问题,开展了在受限环境下线缆自动装配时存在的问题的研究,其中主要包括无标记线缆的无物理模型下的形状跟踪技术和线缆形状伺服控制的研究。本