随着工业生产的发展,机器人的离线编程与示教逐渐满足不了工业要求。目前生产线从单一化产品生产向多元化产品混批生产转变,而且人机协作的要求也逐渐增多,因此也产生了工作环境包括了人的变化以及动态的生产线,缺乏灵活性的传统机器人局限性越发明显。因此增强机器人的智能化程度是机器人在工业生产线应用的一个重要环节。而视觉作为机器人的一个主要感知来源,深度学习能赋予机器人学习认知的能力,能够解决生产线上的工件位置及姿态的不确定性,满足工业生产的柔性化要求。同时由于工件的摆放位姿在工业生产线或工作台上往往不固定,不同工件之间容易出现遮挡现象,导致工件识别困难。而现有遮挡识别研究普遍属于多阶段神经网络二维识别,其推理识别过程步骤较多,速度较慢。对于三维遮挡识别方法仍欠缺。同时工厂中对于制作自己的神经网络三维数据集制作方法也比较缺乏。针对上述问题,本文的主要研究内容如下:（1）提出了均值化Aruco码识别三维数据集制作方法。该方法将目标物体置于自制的旋转码盘的中央,移动相机以不同的视角对获取目标物体在各个角度的图片数据。由于Aruco码与目标物体的坐标系关系固定,通过同时识别多个Aruco码,得到九组目标物体角点的世界坐标,对每一组角点坐标计算其平均值以及各个值之间的偏差值,舍弃最大偏差值后,以剩余总值的平均值作为角点坐标输出,从而完成对目标物体每个角点进行了世界坐标的标注。同时改进图像采集流程,增强目标物体数据集的全面性,进而实现了自动化数据集的制作。（2）提出了改进的端到端三维遮挡识别算法。本文通过YOLO系列目标识别算法研究,设计了在输入端使用Random Erase进行模拟目标遮挡效果以及自适应图片缩放方法,网络主干则是采用CSPDarknet53,网络颈部则是5个普通的CBL模块进行图片特征融合与采样,输出张量19×19×（9×2+1+C）,最后以Pn P算法输出对遮挡目标物体的位置及姿态估计。通过遮挡识别对比实验,比较改进后算法和YOLO6D算法在无遮挡、50%遮挡、以及70%遮挡数据集下的识别效果,其中平均重投影误差准确率提高了2.62%,平均三维平均距离准确率提高9.03%,而识别速度从识别一张图片需0.72s提升至0.078s。（3）基于位置的视觉伺服理论,整合设计了三维视觉伺服控制系统。基于研究PID控制以及姿态旋转变换,以四元数作为姿态旋转的表示方法,将四元数作为控制器输入,设计出PID姿态控制器。而且研究设计了机械臂抓取被遮挡目标时的抓取位置搜索策略。最后通过总体的实验平台搭建,进行遮挡物体的视觉伺服抓取实验。进行100次实验,抓取成功率达到90%。实验结果表明了该视觉伺服抓取策略的可行性以及能够实现利用对于遮挡目标的三维识别结果进行视觉伺服抓取。