随着深度学习的发展,在机器人技术领域研究人员越来越关注基于深度学习的机器人技术。精确且敏捷的机械臂在装配行业中已经广泛应用了几十年,但是在家庭环境下应用仍然是一个具有挑战性的工作。视觉信息的补充可以使任务变得容易一些,只包含视觉传感器的机械臂也能完成抓取等任务。基于纯视觉的机械臂抓取的一般流程为:(1)标定相机,得到焦距等相机内参以及相机坐标系与世界坐标系的位置关系即相机外参;(2)获取图像进行目标物体检测,得到目标物体的像素坐标,进而得到物体的三维坐标;(3)估计机械臂姿态,得到机械臂各关节角度,进行运动学解算控制机械臂进行抓取。本文讨论深度学习在基于纯视觉的机械臂抓取领域中的应用,研究的重点在于基于深度卷积网络的目标检测、基于深度关键点检测网络的机械臂姿态估计与网络模型轻量化三个方面,旨在为廉价机器人系统配备计算机视觉算法。现实生活中物体种类繁多,当有新的物体出现时需对原模型进行再训练。QRCode二维码具有信息存储量大、鲁棒性强的优点,我们可以方便的将二维码粘贴到物体表面,码中的存储内容也可以进行实时更新。故本文以QRCode二维码为目标物体,研究了基于深度神经网络的目标检测算法;还研究了基于视觉的机械臂姿态估计方法,以实时估计OWI-535机械臂各关节角度以及相机与机械臂之间的位姿,该机械臂依靠普通舵机进行传动,完全依赖视觉输入,无其它任何传感器;并针对现有神经网络模型较大且不易在CPU系统上实时运行的缺点,对模型压缩的有关方法进行了研究实验。本文具体工作如下:(1)对QRCode二维码检测方法进行了调研,重点研究了基于深度神经网络的检测方法,并选择了单阶段目标检测网络YOLOv3作为基础模型。构建了一个大规模的QRCode二维码图像的目标检测数据集进行模型训练,并开发了基于ZBar二维码检测库的自动标注算法,该数据集约有QRCode二维码图片2万张。(2)研究了不同的模型压缩方法,并从两个方向对YOLOv3进行了轻量化改进。首先对YOLOv3的网络结构进行了轻量化设计,对主干网络和检测网络都进行了轻量化改造,得到了模型大小为2.4Mb的轻量网络,模型m AP值为90.1%。又对YOLOv3网络模型进行了剪枝压缩,在预训练阶段得到模型大小为220Mb、m AP值为98.1%的YOLOv3模型;接着对网络进行稀疏化训练并进行通道剪枝和层剪枝,得到了大小为2.2Mb、m AP值为96.8%的轻量化YOLOv3模型。使模型大小压缩100倍的同时,也使精度得到了有效保持。(3)研究了机械臂的位姿估计方法并利用双目相机获取物体的三维坐标。首先对关键点检测网络Simple Baseline进行轻量化改进,使用虚拟合成数据与真实数据共同训练模型,并通过该网络获取图像中在OWI-535机械臂上预定义的17个关键点的像素坐标,然后由机械臂尺寸等先验信息通过最小化重投影误差进行三维重建,得到机械臂的四个关节角度以及机械臂基座与相机之间的旋转、平移向量共10个位姿参数。得到目标物体的三维坐标与机械臂关节姿态后,便可控制机械臂进行抓取。