基于三维点云信息的目标位姿识别和抓取

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:guomenling
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着工业智能化的不断推进,视觉引导的机器人抓取系统在基于流水线的产品装配、分拣、包装、码垛等领域得到广泛应用。此类抓取系统中视觉技术是核心,而三维视觉因其所表达的目标形状、位置、姿态等信息更为详细,得到了越来越多的重视和研究。针对散乱工件的自动抓取问题,本课题对基于三维点云信息的目标位姿识别和抓取技术进行了研究,设计并实现了一套三维视觉引导的机器人抓取系统原型,主要成果如下:(1)点云预处理技术研究。利用Realsense D435深度相机获得的深度图像重建三维场景的点云,并通过直通滤波和基于RANSAC的平面检测算法去除无关背景。针对离群点噪声的干扰问题,提出基于kd树的点云近邻点快速搜索算法,通过减小搜索范围,提高点云邻域查询速度,进而提高点云噪声的去除效率。针对点云数据量巨大的问题,采用基于体素格的降采样算法,实现点云数据精简。(2)点云分割技术研究。针对基于欧氏距离分割算法中距离阈值的选择问题,提出了一种自适应的阈值计算方法,该方法根据查询点是否为点云的边界点而自动调整距离阈值,有效提升了点云的分割效率和准确率。为了弥补欧氏距离不能分割粘连目标的缺陷,提出了一种基于点云边缘信息的分割策略,该策略能够根据点云表面法线方向变化的剧烈程度找出边缘线,剔除上述边缘线后再运用欧氏距离分割算法,实现目标分割。(3)点云目标识别和位姿配准技术研究。在FPFH局部点特征描述子的基础上,增加表面各点法向量与载物台平面法向量之间的夹角元素,构造一个新的全局特征描述子GFH。获取多个视角、不同姿态下工件的点云信息并提取其全局特征GFH创建点云模板库,利用该模板库进行特征匹配实现点云的种类识别和粗略位姿估计,在此基础上再采用ICP配准算法实现目标位姿的精确配准。(4)基于三维视觉引导的目标抓取技术研究。建立UR3机械臂的标准D-H运动学模型,并采用解析法求解运动学逆解。借助标定板对机械臂和相机进行手眼标定,计算目标在机器人基坐标系下的位姿,再根据抓取点确定机械臂末端手爪的抓取姿态。计算出机械臂各关节轴的转角,并通过TCP/IP发送至机械臂控制柜,实现机械臂对目标的抓取。大量实验结果表明,论文设计的基于点云信息的目标位姿识别算法对目标粘连、堆叠等相对复杂的情况具有良好的适应性,基于三维视觉引导的机器人能够准确抓取各类可识别目标。
其他文献
固体火箭冲压发动机相对于其它传统的动力系统来说具有较好的工作性能,因而被广泛应用于战术导弹上。具备燃气流量调节功能的固体火箭冲压发动机可使导弹在大空域、宽马赫数范围内机动作战,可使导弹在飞行过程中补燃室内的空燃比处于合理的工作范围之内,种种优势使其备受各国国防工作者的重视。本文针对滑阀式固冲发动机流量可调燃气发生器控制系统展开研究,研究内容包含燃气流量调节原理、控制系统设计、系统建模、流量调节系统
脉络膜新生血管(CNV)是老年性黄斑变性(AMD)的重要特征。基于光学相干断层扫描(SD-OCT)图像的自动CNV检测可以极大地帮助CNV临床诊断。随着深度学习的飞速发展,目标检测领域也取得了长足进步。本文针对现有目标检测模型应用到医学图像中的问题,结合SD-OCT图像和CNV病变的特性,开展使用深度学习对CNV进行高效精准检测的研究和应用,具体工作如下:(1)提出了基于特征融合和邻域传播的CNV
图像超分辨率重建是一种根据低分辨率图像预测出细节丰富的高分辨率图像的方法。其可以克服成像设备等硬件的缺陷,通过软件的方法重建退化的图像,在安防监控、医学图像、视频播放等领域有着广阔的应用前景,是图像领域研究的热点。随着计算机硬件的发展和理论的完善,深度学习得到了极大的发展,在图像分类、目标检测、图像生成等领域成果显著。本文将基于深度学习中的卷积神经网络开展对图像超分辨率重建算法的研究,主要工作如下
目标检测的任务是从图像或者视频中定位目标并对目标进行分类,对只占据少量像素的小目标进行检测的任务称为小目标检测。小目标像素少、携带信息少,特征容易淹没在背景中,因此小目标检测一直是目标检测的难点。字符识别的任务是提取图像中存在的字符并组合为字符串输出。在自然场景的字符识别中,由于背景复杂、字体多样且字符分布随意等原因,识别精度较低,难以满足实际需求。在铁路接触网异常自动检测系统中,接触网支柱号是定
单标记学习方法通常用于解决一个对象仅与一个标记相关的问题。目前,对单标记学习的研究已经比较成熟,然而,现实生活中的对象往往具有多种语义,同时使用多个标记描述一个对象可能更符合实际需求,而已有的单标记学习方法可能无法有效地处理这类任务。因此,多标记学习框架被提出来用于处理一个示例同时与多个标记相关的问题。为了提升模型的分类性能,考虑如何提取和利用标记相关性以及通过标记特定特征学习是目前多标记学习中的
进入21世纪以来,随着计算机技术和人工智能的快速发展,人类和机器之间的交流不再局限于文字符号的输入输出。通过语音识别技术,机器能够轻松地“听懂”语音,甚至用语音和人类“交谈”。因此,语音识别技术,尤其是连续语音识别技术的研究成为一大热点。本文通过连续语音自动切分、声学模型和语言模型三个模块构建了连续语音识别系统。主要工作如下:(1)研究了连续语音的自动切分方法。分析了语音信号特征,选取合适的时域、
随着信息化时代的来临,计算机视觉系统在视觉导航,视频监控,自动驾驶等领域发挥了巨大作用,然而目前视觉系统的性能与其成像接口收到图像质量息息相关,视觉系统在处理恶劣环境下的拍摄图片效果不佳,特别是在雾天拍摄的图像,由于细节丢失较多和可见度低,影响计算机视觉系统正常工作。因此,对雾天图像进行去雾是有必要的。本文基于卷积神经网络,在图像去雾任务中引入了注意力机制,主要从以下三方面展开研究:1.提出了基于
近年来,随着对深度神经网络的巨大潜力的开发,基于深度神经网络的目标识别模型取得了巨大的成功,一些模型对物体的识别正确率甚至已经超越了人类。然而,这一些模型往往需要大量的已标注的数据来对模型进行全监督训练,标注这些数据会需要耗费大量的人力和物力,并且这样训练得到的模型在面对全新的不曾在训练过程中出现过的类别时会显得并不灵活,所以当需要识别一个全新的类别时,往往需要在训练数据集数据集中加入新的类别后对
广义马尔科夫跳变系统一直是控制系统理论中受到关注的研究领域之一。本文在前人研究的基础上,通过分析与改进,针对带分布时滞(Distributed Delay)的广义马尔科夫跳变系统(Singular Markovian Jump System),进行进一步的讨论与研究,取得了一定的成果。本文的主要工作内容和所得成果如下:第一,针对一类带有分布时滞的广义马尔科夫跳变系统,研究随机容许性分析问题和状态反
时间序列是生活中很重要的数据对象,在各个领域都广泛存在,包括金融财务数据,气象观测数据,飞行物的运动轨迹数据等都是以时间序列的数据形式存在。而轨迹预测能够实时、准确地预测目标下一步的位置信息,是时间数据处理中一种很重要的应用。来自雷达数据的轨迹预测就是其中之一,由于其样本量小,噪声大,不稳定性和非线性的特点,因此很有挑战性。近些年深度学习的崛起为很多经典问题带来了新的解决思路,如目标识别、文本翻译