论文部分内容阅读
在利用遥控机器人执行救援任务时,一般的做法是利用机器人车载摄像头直接传回图像信息供操作人员来观察理解环境。这种情况下操作人员需要集中精力来寻找受困者,并记住机器人走过的路径和机器人当前的位置,耗费操作人员大量的精力并容易导致其出现疲劳感。本文考虑利用增强现实的方式在图像上提供更丰富的信息,增强操作体验,从而降低对操作人员的要求。首先,本文提出了用于救援机器人的增强现实系统框架,采用一种归类于“视频透视法”的增强现实显示方案。将救援机器人传回的视频信息作为真实世界,在经过数字化处理的视频流上完成增强现实的工作。然后阐述了本系统中涉及的硬件设备和软件系统,介绍了本增强现实系统构成的四要素,这是后续工作的基础。其次,基于机器人操作系统(Robot Operating System,简称ROS)采用分节点方式开发增强现实系统软件框架。介绍了无标记环境下实现增强现实的技术基础,本文用作增强现实系统位姿跟踪技术的ORB-SLAM2,以及使用SLAM节点实现真实环境建模与显示标注的方法。接下来介绍了本文使用深度学习方法实现目标检测与定位的两种思路,以及最终选择使用的OSVOS目标分割网络。在AR总节点中整合处理各节点的信息,实现最终的增强现实显示功能,辅助操作人员在空间中标记目标。最后,提出并设计仅基于RGBD传感器进行多模态地图构建的建图框架,实现了点云地图、栅格地图与代价地图的构建,并具有良好的可移植性。介绍了稠密点云地图的构建,稠密点云地图可以较好地还原真实环境,但其中的障碍物还是需要操作人员判断;在点云地图的基础上,利用PCL库中与法向量相关的点特征,分割地面点云与障碍物点云,并建立基于点云地图处理的障碍物栅格地图;最后,利用RGBD相机生成的伪激光雷达数据建立代价地图,并规划机器人路径供操作人员参考。实践表明,本文提出建立的多模态地图可帮助操作人员更方便地理解环境信息。