基于机器视觉的协作机器人智能抓取

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:eva37
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
协作机器人指可以在工作区域内直接与人进行交互的机器人,是目前机器人领域一个非常热门的研究方向,当前我国协作机器人产业规模不断增大,作为机器的一项重要能力,机器人的抓取已经经历了多年的研究,取得了很多成果。但抓取过程不够智能仍然是制约协作机器人在工业生产中进一步应用的主要障碍。协作机器人的智能抓取可以分为物体的检测与空间六自由度位姿估计,以及路径规划两个方面的内容。由于工业中的零件物体多数为少纹理或无纹理,无法通过传统的提取手工设计的纹理特征的方式来进行识别,同时还存在散乱堆放,零件数量较多且互相之间存在堆叠等特点,以及识别速度、精度要求等,都对物体识别与位姿估计算法提出了更高的要求。另一方面,如何更好地为机器人规划运动路径使其能够完成从起始状态到目标状态的移动,使其能够安全,快速地与人进行协作,也是抓取过程中一个难点。本文面向协作机器人在工业环境中的智能抓取,以RGB-D相机为主要传感器,对整个抓取过程中涉及到的训练数据准备、语义分割,点云配准,路径规划都给出了相应的解决方法,并搭建了一套完整的协作机器人智能抓取软硬件系统。主要研究内容主要包含以下几个方面:(1)为了实现物体识别与位姿估计,实现了一种易于使用的自动化数据采集标注方法,只需要手持RGB-D传感器围绕场景中物体采集连续的视频数据,再简单调整初始位姿,便可以自动生成物体的语义分割标注以及位姿标注。使用这种方法对包含Dex-net数据集中8种物体的场景进行了数据处理采集以及标注。(2)提出了一种基于语义分割的物体识别与位姿估计方法,首先通过语义分割模型对彩色图进行分割,然后从对应的深度图中获得物体的深度信息,并转换为点云,再使用法向采样对应点的最近点云迭代算法进行物体位姿精确配准。从而实现在复杂环境下对无纹理、相互间有遮挡的物体的有效位姿估计,为后续抓取提供必要的信息。(3)搭建了协作机器人智能抓取软硬件系统,在模块化思想性下将上述各个方法封装为软件模块,对系统进行手眼标定,并在实际环境中进行抓取测试。本文研究所涉及到的语义分割、位姿数据采集及标注、物体识别、位姿估计以及路径规划等技术问题不仅可以解决协作机器人的智能抓取问题,对相关领域如物体识别、位姿估计也有一定的贡献,研究成果可以在一定程度上增加协作机器人的智能性,从而促使协作机器人在工业生产中得到广泛的应用。
其他文献
This study used content analysis to identify content frames and forms of messages in environmental communication on Instagram,as well as their relationship with user engagement.Four official accounts
学位
自主/遥控型水下机器人(ARV)作为近年来兴起的新型水下机器人,提高了人类探索和研究深海的能力。ARV使用微细光纤缆作为和母船实时通信的媒介,摆脱了传统脐带缆的限制,既可以做大范围巡航观测,也可以完成定点精细测量。因此研究微细光纤缆在运动过程中的动力学响应和安全的缆绳布放操作,对于ARV的可靠性和安全性具有重要意义。首先本文使用有限段法建立了微细光纤缆的简化模型,缆绳离散为自由连接的可伸长直杆,这
我国心血管病负担日渐加重,其中急性心肌梗塞患病率近年来有上升趋势,防治心血管病刻不容缓。本文的目的是将不同的机器学习分类模型应用于患者急性心肌梗塞的预测中,以期提高模型的预测能力。本文对急性心机梗塞的危险因素进行了梳理和总结,并对患病可能性进行预测。基于涵盖人口学变量、生理学变量、行为变量等在内的10万名患者2016年全年数据。首先,将变量进行细分,针对不同细分类别的变量分别进行描述性统计;接着,
随着近几十年机器人技术的发展进步,全向移动底盘逐渐成为机器人领域中重要的一个分支。全向移动底盘作为机器人的运动部件有着不可替代的作用,具有稳定性高、应用范围广、承载能力强等优势。而在全向移动底盘中,轮组是最为重要的部分,常规轮式底盘往往采用全向轮或麦克纳姆轮实现底盘全向移动,但两种轮组有加工困难、使用寿命短、对地面平整度要求高的缺点。本文通过设计一款全新的模块化轮组全向移动底盘解决常规底盘上述瓶颈
随着半导体技术的不断扩展,互连延迟和功耗等限制了工艺尺寸的进一步缩放。为了打破这些瓶颈,业界和研究机构正在探索三维集成,例如通过晶片堆叠和硅通孔(Through Silicon Via,TSV)。然而,目前的工艺水平下TSV的良率不高,在制造过程中会出现失效的TSV,这些失效可能导致整块芯片的失效,因此对于包括TSV在内的互连方式的失效检测和修复方法是提高三维芯片良率的重要手段。在本篇论文中,给出
随着机器人技术的发展,移动机器人已经应用救灾,工业生产,生活服务各个领域。在这些领域内,移动机器人需要自主快速地穿过一个复杂的动态环境。自主导航算法是智能移动机器人的关键技术。本文主要针对以差分移动机器人和车形移动机器人为代表的非全向移动机器人,在有地图和无地图两种情况下的导航问题开展研究。本文针对差分和车形移动机器人在有地图情况下,提出了一种新的基于控制变量优化的移动机器人时间最优局部规划算法。
在传统制造业向柔性制造转型的过程中,制造过程中的柔性物流主要通过自动换产的AGV来实现,但是仅凭目前AGV自身导航系统所能达到的精度并不能满足一些特殊换产场景下的精度要求。在这写特殊场景下,换产AGV通常需要借助其他的定位系统进行二次精定位,才能实现AGV的全自动换产。另一方面,以工业相机为基础的计算机视觉系统已经在现代机械制造业得到了广泛的应用,其中单目视觉定位系统则是最为常见的工业视觉系统之一
五轴混联加工机器人是一种新型的数控加工装备,具有精度好、刚度大、载重能力强、运动灵活、工作空间大的优点,在碳纤维复合材料铣削、曲面制孔、精密零件打磨等领域应用前景广阔,对提升我国先进制造能力、发展智能制造装备具有重要意义。论文研究五轴混联加工机器人运动控制技术:搭建开放式、模块化的数控系统软硬件平台,实现自由曲面的五轴联动加工功能;针对零件自动加工的轨迹规划问题,论文重点研究轴空间多约束下的速度规
PCR is a technique widely used in research and diagnostics for nucleic acid quantification.Measuring the concentration of different RNA and DNA targets provide useful information related to medical co
学位
近年来,由于石墨烯优异的摩擦学性能,这一新兴的碳纳米材料在摩擦领域越来越吸引眼球。然而由于石墨烯极易团聚,使得它在水介质中难以稳定分散。氧化石墨烯(GO)是石墨烯的一种衍生产物,同样是由大量的单层石墨烯构成,拥有二维平面结构,具有自润滑的性质,在摩擦过程中可以进入摩擦副之间,吸附在摩擦副的表面,防止金属摩擦副之间的直接接触,并通过碳层之间的相对滑移,减弱摩擦副间的摩擦。同时,GO中还有大量的含氧官