目标的定位和姿态估计在机械臂目标抓取等任务中起着至关重要的作用,其识别结果直接影响着目标的位置确定、场景的理解和后续抓取姿态的确定和轨迹的生成。三维传感器的应用为目标的三维信息估计提供了很大的便利,但是通过二维图像来估计目标在三维空间中的位置和姿态依然是个难点,而且目前很多方法的局限性较大。其中,如何充分地理解目标是重中之重,卷积神经网络为图像的特征提取提供了强有力的支撑。因此,本文针对两种不用的应用环境,利用RGB图像分别设计了两类基于卷积神经网络来估计目标三维空间中信息的方法。这两类方法均基于二维目标检测网络的框架,将思想运用到了三维的空间中,通过对网络内部结构、输入输出及数据集的改变,实现在目标抓取任务中对目标三维信息的感知。主要工作如下:1)系统模型的建立和标定。对手眼协调系统进行标定,包括相机内参和畸变系数的标定及基座坐标系与相机之间转换矩阵的标定。前者的标定利用张正友标定法进行标定,后者通过对典型的AX=XB问题进行求解,得到X矩阵,即待标定的矩阵。最后对标定结果进行展示,并利用标定板得到五组三维位置和姿态的标准数据,用于模型的验证与评估。2)基于卷积神经网络的二维目标轨迹估计方法。探讨目标在一个特定平面进行运动时的目标跟踪问题,此时只需估计物体的二维空间位置即可得到目标的三维位置信息。针对该问题,分别与粒子滤波算法和聚类算法结合,提出了两种基于区域建议网络的跟踪方法。区域建议网络能够输出大量的二维标框信息,而粒子滤波与聚类算法刚好利用这些信息进行跟踪,由此解决了目标检测网络中计算量较大的问题,也提高了算法的实时性和精度。为评估跟踪效果,利用公开的数据集和自行收集的数据集证明算法的实时性和精度都有很大的提升。最后,当目标在特定平面运动时,对该算法的三维位置确定和轨迹估计效果进行了验证。3)基于卷积神经网络的位姿估计网络建立。利用卷积神经网络提取的特征,分别设计了两个独立的网络,进行二维信息和三维视角(面内旋转)的估计。两个网络共享卷积特征,第一个输出目标的二维标框和分类信息,并通过分类信息选取三维视角分类的网络,得到视角分类结果和面内旋转分类结果。然后,根据视角分类结果与该视角下的标准模板进行对比,得到三维位姿信息。最后,将网络在三维合成的图片上进行训练,并在3D打印的物体上进行验证。结果表明尽管该算法是在合成的数据上进行的训练,但依然能够将之运用到真实情况中,泛化性较好。4)模型的训练。对于第一类方法,训练时只需将目标检测网络中的第一部分进行训练,而目标分类的全连接网络无需训练。对于第二类方法,将特征提取网络进行锁定,只训练新建立的预测网络部分,并将两个网络独立进行训练,防止模型的过拟合和两个网络之间的耦合。训练时均利用ADAM优化算法进行梯度的反传和参数的更新。5)机械臂目标抓取实验。建立基于彩色摄像机的机械臂目标抓取实验环境,测试位姿估计算法在目标抓取任务中的效果。首先对机械臂正逆运动学进行求解,再利用位姿估计方法得到目标的位姿,根据目标姿态和机械臂当前姿态进行轨迹规划,实现目标抓取。实验结果表明,该位姿估计方法能够满足目标抓取任务的要求。最后,根据以上测试结果得出最终的实验结论并对提出的方法进行优缺点分析和未来改良的展望。