当前在5G通信技术、人工智能和机器人领域高速发展的大趋势下,机器人柔性制造、智能视觉分拣、AI交互等应用的需求量日益剧增,各科研机构也为此提供了具体的解决方案。机器人工作的核心技术是定位、识别和轨迹解算。从市场潜力和发展趋势来看,未来基于视觉的机器人工作算法趋向更高的执行效率和更准的识别精度。本课题以串联机器人抓取具体物体为例,研究基于双目视觉的物体定位识别技术以及末端执行器轨迹规划等关键技术。首先概述了机器人的抓取工作涉及关键技术的国内外研究现状,推导了MICO2机器人的D-H参数和正逆运动学,解算了末端执行器的工作空间,考虑了实验环境的微振动情况复原了相机的低频振动图像,引出轨迹规划的意义。其次介绍了双目立体视觉的成像及矫正原理,完成了相机标定并且求解内外参数,以此为基础通过矩阵变换确定机器人手眼标定关系。左右相机分别以两种标定算法校准标定误差,确保标定结果的可靠性。通过立体匹配算法生成视差图,根据空间对应点的矩阵关系获取深度图。接着论述了基于PCL点云库的RGB-D三维重建技术以及点云聚类分割提取技术。针对聚类分割技术优化了体素量化算法,保证以较少的迭代次数收敛至最优的聚类区域。在点云配准技术的数据结构层面优化了配准算法,精细化匹配过程,提高收敛效率。结合源点云和目标点云的匹配结果求解最优的抓取物体位姿矩阵。最后在关节空间中研究末端执行器的抓取轨迹,确保末端执行器所经过的各关键点光滑顺接,提高定位精度。建立了轨迹跟踪控制器,使得实际轨迹近似趋向于拟合轨迹,保证轨迹控制系统具有较强的鲁棒性。最后进行了视觉和轨迹规划的综合实验论证本课题各关键技术算法的有效性。