基于RGB-D相机的激光点取物体识别与抓取

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:pptcwu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人口老龄化的加剧,对助老助残机器人需求机器人需求与日俱增。为了满足残障人士及老年人对生活品质的追求,减轻护理人员看护压力,因此需要开发一款帮助残障人士及老年人的载臂智能轮椅机器人(Wheelchair Mounted Robotic Arm,WMRA)。在WMRA机器人执行任务时,鉴于WMRA机器人对交互感与易用性的迫切渴求,以提升易用性与交互感为目标,提出并研制一种基于激光点交互式WMRA助老助残机器人。并在基于You Only Look Once v3(YO LO v3)算法环境中激光点精准检测、基于点云信息的物体识别与定位、基于示教的物体抓取以及基于机器人操作系统的集成等关键技术进行研究,最终实现基于RGB-D信息的激光点取物体抓取方法研究。具体研究内容如下:(1)进行了环境中激光点的精确捕捉技术研究。首先,基于改进的目标匹配及背景差分法进行了激光点检测算法研究。但检测过程需要物体贴上“圆片”标记,限制了它的使用。针对传统检测算法存在问题,基于卷积神经网络进行了激光点检测方法研究。研究中使用YOLOv3算法对激光点进行检测,并在YO LO v3网络的前端增加图像预处理、在后端可视化算法中对激光点取物体预测框加粗、变色处理,提高了用户的交互感受、增加了激光点检测成功率。(2)进行了激光点取物品识别与抓取技术研究。本课题基于RGB-D图像信息,进行了基于点云信息的物品滤波、分割算法研究,并提取了环境中物体三维质心坐标。进行点云信息与激光点取物体信息之间的阈值判断,确定光点所附物体三维位置坐标,并基于卷积神经网络对点云物品识别,结合多模板匹配算法获取物体姿势,并规划抓取物体轨迹,从而完成激光点取物品自主抓取。(3)建立激光交互抓取系统并研究其坐标转换关系,实现激光点取物品三维位姿精准匹配。阐述自主抓取系统各坐标系间的关系,并基于张正友相机标定理论对相机内参矩阵进行标定;利用最小二乘法标定相机坐标到机械臂坐标的外参矩阵。在此基础上,推导激光点取物体二维坐标与深度点云物体三维质心坐标转换方程,实现点取物体与三维点云物体间的匹配及物体点云场景理解。(4)搭建WMRA机器人系统并进行激光点取物体抓取实验研究。基于机器人操作系统(Robot Operation System,ROS)进行系统软件集并完成硬件搭建。在激光点取自主抓取平台上,进行激光点取物体识别、激光点取物体智能抓取以及用户操作体验测试等相关实验研究。
其他文献
小菜蛾Plutella xylostella(Linnaeus)属鳞翅目菜蛾科菜蛾属,是十字花科蔬菜最主要的害虫之一,也是一种在世界上广泛分布的害虫。长期以来,小菜蛾的控制一直以化学防治为主,
在倡导“绿色制药”的大理念下,酶促合成方法在药物及其衍生物的合成中己备受关注与研究,它具有反应条件温和、选择性高和很好的应用前景等优点。咪唑作为一类重要的五元杂环
本文使用JEOLJSM-5910扫描电镜、NORAN能量色散光谱分析仪、LeicaDMRIM倒置式金相显微镜、LeicaQ550MW图像分析软件分析豆浆机不锈钢内胆表面发蓝部位,确认该部位工作时产生
煤泥水是指混有大量的煤粉和泥土的污水,如果不进行处理,对于环境的伤害是非常大的。本文将从煤泥水的性质出发,通过分析煤泥水处理系统中存在的问题来探索改进的对策。
目的:评估初产妇会阴切开与Ⅱ~Ⅲ度会阴裂伤的相关性。方法:回顾性分析2006~2013年解放军第174医院产科的临床资料,涉及23 340例足月、单胎头位、阴道分娩的初产妇。结果:在
钢丝网骨架聚乙烯复合管是以高强度钢丝和聚乙烯为原材料,以缠绕成型的高强度钢丝为芯层,以高密度聚乙烯塑料为内、外层,而形成整体管壁的一种新型复合结构壁压力管材。该文
新生儿先天性乳糜胸/腹系淋巴系统先天性结构发育异常,乳糜液从淋巴管漏入胸腔/腹腔所致。乳糜胸患病率约为出生婴儿中的1/10 000,占新生儿重症监护室收容的1/2 000,其病死率
<正>~~
会议