随着机器人应用场合的增加,软体机械手在柔性操作中的作用突显出来。其中,柔性弯曲传感器用于识别软体手的弯曲状态。但该传感器有以下不足:一是传感器只能获得弯曲的曲率而不能辨别弯曲的方向;二是单个传感器的功能不够完善,只能实现特定的感知功能;三是多个传感器很难集成到软体手上。针对以上的不足,本文首次提出将基于视觉的传感器应用到软体手上。与目前的柔性弯曲传感器相比,该传感器具有广阔的视野和空间分辨率,通过识别采集的图像可以获得丰富的感知信息。基于视觉的传感器的软体手(下文简称视觉-软体手)是由多色彩弹性体内腔、外部结构、密封装置、气压阀和针孔式摄像头组成。其中,多色彩弹性体内腔和针孔式摄像头构成了传感系统。首先,通过一系列的图像处理方法从内腔图像中人工提取出颜色区域的边界图像。然后,利用卷积神经网络识别边界图像。其中,为了同时实现分类任务(用于获取弯曲方向)和回归任务(用于预测软体手上设置的四个标记点的相对坐标),本文采用了多任务学习的方法。该方法通过共享网络参数,节约了网络的运算量。除此之外,考虑到不同任务的训练难度,本文添加了损失权重用来调整网络优化的偏重。最后,基于四个标记点,本文用贝赛尔曲线来表示软体手的弯曲姿态。实验表明该识别算法有效地实现了软体手在非气驱动弯曲和气驱动弯曲下软体手指的姿态识别。除此之外,通过图像处理可以得到内腔图像中各个颜色区域边界的参考点。通过追踪参考点的位移方向,可以快速识别出弯曲方向,并且识别的准确率接近100%。当软体手滑动触摸物体表面,其表面轮廓深度使软体手的弯曲程度发生变化。通过标定参考点的位移,得到的位移曲线可以有效地表示物体的表面轮廓。当软体手抓取不同大小的物体,以处于临界大小分类标准的瓶子的参考点的位移量为基准,可以标定软体手的弯曲程度,以此对物体进行大小分类。本文所提出的基于视觉的传感器结构简单,并且不影响软体手的结构和气驱动弯曲功能,同时还可以实现多感知功能。