智能服务机器人借助视觉系统获取室内目标的三维形状信息,为后续服务机器人选择有效的抓取位置提供基础,由于室内环境比较复杂且可能存在着多个目标,因此目标的跟踪和重建的难度极大地增加。传统三维测量系统利用激光传感器或多目相机的解决方式具有系统造价高和处理数据量大等缺点,难以在服务行业广泛地普及。本文考虑将相机安装在机械臂末端,利用相机直接获取室内场景的彩色图像数据,对室内环境的目标跟踪和重建的方法进行研究。论文的研究内容如下:首先,对机械臂末端视觉系统成像模型和应用场景进行分析,确定在机械臂末端视觉系统下目标跟踪和三维重建的整体流程和关键技术;其次,针对复杂场景下单目标的跟踪问题,在目标检测阶段考虑到卷积神经网络在目标检测等分类问题方面表现出了优异的性能,因此学习分析了现有的由神经网络衍生的对未知目标进行检测识别的方法,采用卷积神经网络的目标检测方法对图像中的单个目标进行检测,采用仿真图像和实际拍摄图像结合的方式制作目标数据集对网络进行训练,从而提高检测准确率;在目标跟踪阶段,针对目标在连续图像中可能出现的光照不均、尺度发生改变和部分被遮挡等情况下的问题,结合目标检测结果使用加速鲁棒特征对目标进行描述,然后采用欧氏距离阈值粗匹配和随机采样一致性去除误匹配的方式对目标特征进行跟踪;最后,针对现有的结构光和双目视觉的方法定位精度受相机与相机或投影仪之间的基线距离限制,提出一种基于基线误差加权的立体匹配方法,考虑到机械臂的灵活性,系统设置机械臂运动模式,控制机械臂在运动过程中连续获取彩色图像数据,根据目标跟踪结果获得的特征点对集合,对每个特征点对集合结合基线误差模型确定该特征点在进行定位计算时的权重,根据三角测量方法和坐标系转换模型计算出相应的目标表面三维点的空间位置,从而获得目标的重建点云数据。为验证上述研究方法的有效性,通过实验室搭建的单目视觉系统结合虚拟机器人仿真实验平台V-REP3进行了目标跟踪与三维重建实验,实验结果证明了方法的有效性,对后续智能服务机器人在环境感知、自然交互等技术应用方面具有一定的指导意义。