面向人机交互的救援机器人视觉感知与增强现实技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:antoney
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在利用遥控机器人执行救援任务时,一般的做法是利用机器人车载摄像头直接传回图像信息供操作人员来观察理解环境。这种情况下操作人员需要集中精力来寻找受困者,并记住机器人走过的路径和机器人当前的位置,耗费操作人员大量的精力并容易导致其出现疲劳感。本文考虑利用增强现实的方式在图像上提供更丰富的信息,增强操作体验,从而降低对操作人员的要求。首先,本文提出了用于救援机器人的增强现实系统框架,采用一种归类于“视频透视法”的增强现实显示方案。将救援机器人传回的视频信息作为真实世界,在经过数字化处理的视频流上完成增强现实的工作。然后阐述了本系统中涉及的硬件设备和软件系统,介绍了本增强现实系统构成的四要素,这是后续工作的基础。其次,基于机器人操作系统(Robot Operating System,简称ROS)采用分节点方式开发增强现实系统软件框架。介绍了无标记环境下实现增强现实的技术基础,本文用作增强现实系统位姿跟踪技术的ORB-SLAM2,以及使用SLAM节点实现真实环境建模与显示标注的方法。接下来介绍了本文使用深度学习方法实现目标检测与定位的两种思路,以及最终选择使用的OSVOS目标分割网络。在AR总节点中整合处理各节点的信息,实现最终的增强现实显示功能,辅助操作人员在空间中标记目标。最后,提出并设计仅基于RGBD传感器进行多模态地图构建的建图框架,实现了点云地图、栅格地图与代价地图的构建,并具有良好的可移植性。介绍了稠密点云地图的构建,稠密点云地图可以较好地还原真实环境,但其中的障碍物还是需要操作人员判断;在点云地图的基础上,利用PCL库中与法向量相关的点特征,分割地面点云与障碍物点云,并建立基于点云地图处理的障碍物栅格地图;最后,利用RGBD相机生成的伪激光雷达数据建立代价地图,并规划机器人路径供操作人员参考。实践表明,本文提出建立的多模态地图可帮助操作人员更方便地理解环境信息。
其他文献
<正>《语文课程标准》明确规定,初中学生应具有初步的阅读和欣赏戏剧的能力。而对于戏剧教学,有些教师以往总认为戏剧不是考试的重点内容,大多轻描淡写地介绍与阅读一下就完
公孙瓒与刘备曾同在卢植门下求学,并由此结下深厚友谊公孙瓒出仕早于刘备两人都曾在汉末参与平定张纯等人的叛乱初平年间,刘备投奔公孙瓒,成为其属下。公孙瓒后来派刘备去青
研究壳聚糖、海藻酸钠、乳酸链球菌素和溶菌酶4种天然保鲜剂对马陆葡萄贮藏保鲜效果的影响,分析比较各种天然保鲜剂处理对马陆葡萄的感官品质、质量损失率、硬度、呼吸强度、
【正】 多年来,联合国教科文组织在支持第三世界国家为建立世界新闻传播新秩序而进行的斗争方面,曾作了许多工作。其中的重要项目之一就是“国际传播发展计划”,也就是著名的
教学机智作为教师综合素质的外在表现,成为广大教师孜孜以求的高层次教学境界。良好和谐的师生关系、丰富的教学经验和行之有效的教学执行力是生成教师教学机智的三个基本要
桥式起重机在起吊过程中,其结构动力学特性较为复杂。利用有限元方法,建立起以桥式起重机主梁、小车、起吊钢丝绳及起吊重物为研究对象的动力学模型,并进行动态分析,得到桥式
<正>公孙瓒因小时受歧视,导致功成名就后仍心理偏执。惜哉!在如今的历史影视剧中,经常能够看到骑着白马的主帅形象。如果是汉代以前的题材,这样的细节或许有些失真。汉朝有一
运用数理统计方法,借鉴天文历算及历谱编排的有关 知识,试图提供一种被称为月龄历谱的数理结构模型(数表),以作为对具有某些月龄特征的 词语的研究工具。其用途:(1)由 这些月龄词语
我国关于体育社团方面的研究正逐步开展起来,不少学者专家对体育社团发展的理论与实践方面进行了大量的研究分析,有关社团的理论、社团自治以及与政府部门之间的关系等方面都
<正>毫无疑问,每个企业都或多或少存在一些不利于公司发展的文化现象;这些文化现象很难界定它是否违反了公司的纪律和规定,但它确实在某种程度上阻碍着公司的发展进
会议