动态场景下基于深度和语义的单目SLAM及稠密语义重建

来源 :浙江大学 | 被引量 : 0次 | 上传用户:lu_bright_zhang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉SLAM技术已经在自动驾驶、AR和VR等场景得到广泛应用。但大部分SLAM都假设场景是静态的,而现实中的场景大多是动态的,这将造成相机位姿估计过程中关键点的误匹配,从而影响其定位精度。另外传统SLAM构建的地图往往是稀疏的,只能用于定位,无法完成导航、人机交互等高级任务。针对这些问题,本文利用深度学习模型预测的深度信息和语义信息,在传统单目SLAM基础上提出了一种针对动态场景下的SLAM算法,并构建了三维语义稠密地图。本文完成的具体工作如下:首先,为了高效地给SLAM系统提供深度信息和语义信息,本文设计并实现了一个兼顾精度和效率的多任务网络,能够同时输出深度信息和语义信息。基于公开数据集进行实验,验证了该网络的准确性和实时性。其次,针对动态物体的处理问题,本文研究了基于稀疏光流的动态点检测算法,并结合语义信息实现了动态点和动态物体的检测和移除。然后,结合多任务网络的输出信息和经动态物体处理后得到的动态物体信息,提出了一种新的SLAM算法。该SLAM算法一方面利用模型预测的语义分割图,结合光流进行动态物体检测,仅从静态场景部分提取出候选点并跟踪,并且在优化计算时排除位于动态区域内匹配点产生的光度残差;另一方面用模型预测的深度图来初始化关键帧逆深度,从而提升了SLAM的定位精度。最后,稠密语义建图部分,利用多任务网络输出的深度图、语义图、SLAM系统输出的相机轨迹和检测出的动态物体信息,在公开数据集上完成了动态场景下稠密语义地图的构建。
其他文献
传统的水下潜航器一般通过舵与螺旋桨之间的配合实现水下的姿态控制,当潜航器在低速行驶时,水流的阻尼力很大,舵能提供的动力很小,能量损耗巨大。本文设计了一种新型射流直线电机作为潜航器的推进电机,可使得潜航器在低速状态下具有较高的机动性能。本文先通过解析法建立了射流电机的磁场解析模型,并与水动力学模型相结合,建立了电磁-流体耦合模型。然后通过建立电磁场、流体场等多场仿真模型,预测射流电机的功能特性,最后
近年来互联网飞速发展,企业的机房部署架构也日益复杂。企业为了提高互联网服务的质量,通常会将应用程序部署在多个中心机房和边缘机房中,达到多机房互相容灾、流量负载均衡等目的。在传统的中心机房监控方案中,首先将各个集群产生的监控数据汇聚到中心节点的数据仓库,由中心节点统一存储、管理和进行异常检测并告警。这样的模式应用到边缘机房中存在很大的局限性:首先,跨公网传输大量数据会带来不必要的网络成本开销;其次,
近些年来人们对数据隐私保护越来越重视,政府也对数据隐私保护领域逐渐开始制定一系列的规范,保护数据隐私的安全。目前,在人工智能领域通用的深度学习算法都是数据可见的,即需要获取到数据才能使用这些深度学习算法,这给数据隐私产生了极大的威胁。因此Google在2016年首次提出了联邦学习的概念。联邦学习是一种能够在不泄露用户数据的前提下训练人工智能模型的一种深度学习算法,它在保护用户数据隐私,解决数据孤岛
“马铃薯主粮化”政策指将马铃薯加工为馒头等传统主食。然而,马铃薯馒头通常具有较高的血糖生成指数(Glycemic Index,GI),长期摄入会增加罹患糖尿病等慢性代谢疾病的风险,限制了马铃薯主粮产业化。葡萄籽原花青素(Grape Seed Procyanidins,GSP)能通过抑制淀粉消化酶的活性,或是以非共价键与淀粉结合等途径抑制淀粉的消化,从而降低淀粉类食物的GI数值。但GSP与马铃薯淀粉
随着智能制造概念的提出和发展,机械臂广泛应用于现代制造业的各个领域。许多机械臂高速、高精度作业都需要动力学层面的控制,而机械臂的动力学模型往往难以直接得到,需要进行动力学参数辨识。本文针对机械臂动力学参数辨识与验证的问题,从机械臂激励轨迹优化、机械臂动力学参数辨识和机械臂轨迹跟踪等方面展开了研究。主要研究内容如下:基于改进傅里叶级数和免疫克隆算法的机械臂激励轨迹设计优化。针对传统激励轨迹设计以傅里
近年来自动驾驶行业逐步进入产业化,已经有诸多的厂家开始推出具备一定自动驾驶能力甚至完全自主驾驶能力的车辆产品。但是随着测试车辆和运行车辆的增多,自动驾驶车辆安全事故频发,危及乘员的生命安全,同时对整个自动驾驶产业造成了非常恶劣的影响。根据目前已经发生的多起典型的自动驾驶事故分析,其主要的原因就是车辆在非正常光线的影响下,造成车辆自动驾驶决策系统误判,从而造成严重伤亡事故。因此基于视觉感知系统的安全
根皮素(Phloretin,Pht)为二氢查尔酮类化合物,主要存在于苹果、草莓、山茶等植物中,具有抗氧化、抑制酪氨酸酶活性、抗肿瘤、降血糖等生理功能,安全无毒,可应用于食品、药品、化妆品等多个领域。但是存在水溶性差、生物利用率低以及稳定性差等问题,在实际应用中具有局限性,因此提高Pht的水溶性以及生物利用度显得尤为重要。为了解决疏水性小分子在应用中存在的问题,目前已经开发出多种性能不同的纳米载体,
互联网飞速发展,产品也日益丰富,相对应的企业系统也变得越来越复杂,快速迭代的产品需要时刻保证业务稳定可靠,这就给运维人员带来了新的挑战。线上系统任何故障和运维的任何失误都可能会为企业带来巨大的经济损失,这就需要一个高效稳定的监控系统为企业运维人员提供行之有效的服务。本文根据目前互联网行业的实际发展现状分析得出了互联网行业在系统架构和业务场景上的日益复杂,引出了互联网企业对于复杂业务系统所面临的监控
一、电磁实验自制教具的重要性新教材中的对原来的章节有一定的删减及整合。其中,对电磁学中的电与磁的关系也进行了调整,把这些内容整合为同一章内容,全部放在普通高中高中《物理》必修3的第十三章"电磁感应与电磁波初步",分为5节:(1)磁场、磁感线;(2)磁感应强度、磁感线;(3)电磁感应现象及应用;(4)电磁波的发现及应用;(5)能量量子化。新教材中对实验的要求也更明确,哪些是演示实验,哪些是探究
期刊
高血压是引起冠心病、中风、慢性肾衰竭、视网膜病变、动脉粥样硬化等各种疾病的高风险因素之一。目前用于治疗高血压的药物主要是血管紧张素转换酶(angiotensin-converting enzyme,ACE)抑制剂,但此类人工合成的药物具有明显的副作用。因此,从食源蛋白质中制备具有ACE抑制作用的天然活性肽,为预防和辅助治疗高血压提供了一种新的可能。本课题以大米蛋白为原料,通过酶促水解制备了大米AC