综合语义识别的非结构化环境物体位姿估计

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:Lotus35000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着“工业4.0”、“中国制造2025”等科技发展战略的提出,中国工业对传统产业智能制造升级提出了迫切需求。诸如物流自动化分拣,工业自动化分拣等典型非结构化环境应用场景,高效可靠的物体位姿估计技术对机器人应用意义重大。本文针对机器人智能抓取分拣应用,围绕非结构化环境物体位姿估计展开研究。具体内容包括以下四个方面:(1)针对实际深度学习应用中数据集构建代价大的问题,提出了一种基于物理仿真的物体语义数据集自动化构建方法。每个数据样本包括仿真场景的彩色图、深度图和点云数据,并提取出对应场景中物体的类别、包围框、语义、部件语义和位姿标注。(2)在物体语义数据集的基础上,提出了一种部件语义识别网络,能够对图像中物体语义和物体部件语义进行识别。本文改进语义识别网络结构,设计部件语义识别网络,通过增加部件语义分支和设计对应的损失函数和训练方法,实现对图像的细粒度物体语义识别。实验表明,在仿真数据集上,该网络能取得有效的识别结果,而且将仿真训练的网络应用到真实场景数据集,也能取得有效识别结果。(3)在获取场景细粒度语义识别结果的基础上,提出了一种综合语义的非结构化环境物体位姿估计算法。本文对点对特征位姿估计算法的多个环节提出改进方法。同时,设计语义点对特征位姿估计算法,结合细粒度语义识别结果,提出了综合语义的物体识别和位姿估计算法框架。实验表明,相比于传统位姿估计算法,速度和精度均得到了有效提升,且能够解决传统点云位姿估计中无法解决的问题。(4)为了验证综合语义的物体位姿估计算法在真实非结构化场景中的应用性能,本文基于ROS系统设计了一个机器人智能抓取分拣实验平台。通过ROS分布式框架,将视觉算法和机器人控制等模块进行解耦,使各个算法模块形成独立节点,增强程序的可拓展性。实验证明,本文提出的机器人手眼系统和物体位姿估计算法能顺利完成智能抓取分拣实验。
其他文献
应用有限元分析软件ANSYS对矿用驱动链轮与链环进行了包括几何非线性、材料非线性和接触非线性的有限元仿真分析。在此基础上,利用ANSYS和Pro/E双向参数化接口,对链轮齿形状
<正> 毫无疑问我们现在正处于高速发展的信息时代,信息时代的三大核心技术是:半导体芯片、显示器和电池,人们形象地把半导体芯片比喻为人的大脑;把显示器比喻为人的脸面;而把
<正>长期以来,西方社会学理论中的"人"(或者说行动主体)一直都是以自足独立且绝对稳定的个体形象出现的,以此为基础发展起来的社会互动理论(包括社会交换论、社会资本理论等)
<正>一这些年,笔者先后到十余省市农村进行驻村调查,与农民接触多了接触久了,就发现在对待我们这些外来陌生人时,各地农民的态度和应对方式颇有不同,更有趣的是,这种不同还呈
【正】翻开1994年色彩缤纷的日历,新的一年又开始了.从1993年向1994年跨越的岁末年初,华厦大地,到处都在兴高采烈地迎接一本特殊的著作——《邓小平文选》第三卷的发行,《邓
【正】特大色情抢劫案犯谢涛、黄德贵、刘永迹单独或结伙流窜潜藏于一些大型舞厅之中,主动充当“耗子”(黑话指男妓),专门纠缠穿金戴银、恣意寻乐的风流“老板娘”(黑话:富婆
学生社团是高校图书馆与读者沟通的桥梁。2012年,西安交通大学图书馆专门成立了学生社团iLibraryClub(iClub),其由社长和副社长共同管理,由图书馆指派指导教师协助工作。iClub制定
研究目的:本试验以常规针刺为对照组,客观评价董氏奇穴治疗心肾不交型失眠的有效性及安全性,比较董氏奇穴与常规针刺在改善失眠患者睡眠质量、中医症状及日间疲劳状态之间的差异,以期为临床治疗失眠提供新的方法。研究方法:本试验采用随机对照研究方法,将符合标准的64例心肾不交型失眠的患者按1:1的比例随机分为治疗组和对照组。治疗组采用董氏奇穴针刺治疗,对照组采用常规针刺治疗,两组每周均治疗5次,共治疗4周,治
抓取操作是机器人技术的常见任务,当前大多数机器人抓取系统都是在结构化环境下工作,一旦环境、抓取任务、目标状况发生变化,就需要重新设置,缺乏鲁棒性和灵活性。但是在非结构化环境下,面临抓取目标的不可预测性、抓取目标的位姿随机性、多个抓取目标存在堆叠等问题时,机器人的抓取变得困难。本课题深入研究机器人抓取场景理解、抓取位姿估计等内容,实现一种用于多目标抓取任务的方法,并通过实物抓取实验进行验证。主要内容