论文部分内容阅读
当前机器人为实现精细操作都搭载各种各样的感知系统与外界环境进行交互。若各感知系统之间相互独立,将会忽略各模态感知系统之间的信息关联性,导致信息利用不彻底,造成信息的浪费。完成同一任务,将会更加的复杂,最终降低了机器人的智能性。本文以ZED相机和薄膜压力传感器为中心分别搭建视觉感知系统和触觉感知系统两个子系统,采用视-触觉融合的理论,研究机器人抓取任务中的柔性体抓取问题和抓取状态的滑觉检测问题。在柔性体抓取方面,视觉感知系统和触觉感知系统之间采用串行操作。首先视觉感知系统将使用MATLAB标定工具箱进行双目相机的标定和机械臂标定。标定完成后,不采用传统的SIFT算法和早期的深度学习算法,而是使用检测效率更高的YOLOv3算法对ZED相机内置的目标检测模块进行开发,并结合ZED相机的深度信息处理模块进行目标的三维坐标解算,完成ZED相机的二次开发。得到物体的坐标后,触觉感知系统将调用预采集的触觉信息库,输出合适的握力,控制机械爪进行抓握。在滑觉检测方面,视觉感知系统和触觉感知系统之间采用并行操作。抓取过程与基于视-触觉的柔性体抓取过程一致。在滑觉检测部分,不单独依靠某一系统进行判断,而是综合视觉感知系统和触觉感知系统两个系统的判定结果进行联合判定。通过对比实验发现,自设计的视-触觉感知融合系统,在柔性体抓取方面,不仅造成的损伤率比单模态下的视觉感知系统低,而且比传统的基于SIFT算法的视-触觉感知系统目标检测的效率更高。在机器人抓取状态的滑觉检测方面,自设计的视触觉感知融合系统比起单模态的视觉或触觉感知系统,以及传统的基于SIFT算法的视触觉感知系统具有更高的准确率。