工业机器人能够高效可靠地完成各种任务,大大降低人工成本。在当今的生产制造环节中,机器人多应用于已知的环境中,通过示教编程完成给定的工作。然而随着传统制造业的转型升级和疫情常态化的大形势下,柔性化、自动化的生产线逐渐成为智能制造的主流,这就要求机器人具备感知环境的能力和云端监控的能力。在此背景下,本文基于RGB-D视觉传感器,充分利用物体的三维空间信息,实现了物体识别和位姿估计,开发了基于数字孪生的可视化监控系统,并搭建了机器人抓取系统平台。主要研究工作如下:（1）研究了RGB-D相机与机器人系统的标定问题。首先分析了RGB-D相机的成像模型,实现了生成的深度图和彩色图的配准,研究了工业机器人的手眼标定方法,最后通过实验标定了相机内外参数及相机坐标系与机器人坐标系之间的转换矩阵。（2）提出了基于实例分割的目标物体识别与定位方法。针对工业环境堆叠纸箱环境复杂、特征点少、表面贴有胶带、紧密相连且在自然光下存在阴影等干扰的情况,提出了一种新的基于RGB-D图像的目标识别检测方法。首先使用基于卷积神经网络的实例分割算法,在小样本的训练条件下,对待检测的图像进行初步的分割;然后利用改进的种子区域生长算法,自动生成种子点,融合深度信息作为区域生长的合并原则,充分利用了物体的三维信息,提高了分割结果的精确性和鲁棒性。（3）研究了基于主成分分析（PCA）的目标物体位姿估计方法。基于二维目标检测的信息结合深度数据,生成目标物体的三维点云并实现点云分割。对分割后的点云使用随机采样一致性算法提取抓取所需的最大平面,基于主成分分析方法估计点云的主方向,并以平面质心为原点建立坐标系,从而获得目标物体的三维位姿。（4）提出了一种基于Unity平台的机器人数字孪生系统,为现有机器人提供了跟踪和监控显示的有效手段。首先根据实际物理环境,建立了Unity3D平台的虚拟数字模型,同时整合物理实体与虚拟数字模型之间的数据交互,实现了物体环境和虚拟环境的有机统一,并设计了数字孪生系统的人机交互界面。（5）搭建了基于RGB-D视觉引导的机器人抓取系统平台,并对提出的目标检测定位方法、位姿估计方法以及数字孪生系统进行了实验验证。基于机器人操作系统ROS实现机械臂的运动规划,针对不同位置摆放的物体,进行了多次抓取实验验证。实验表明,基于RGB-D视觉引导的机器人抓取系统能够良好的完成对目标的识别定位以及抓取,数字孪生系统能够实现物理实体的实时映射,满足系统的设计要求。