基于激光雷达和相机数据融合的城市场景道路分割研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:a1218616
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
道路分割是自动驾驶系统中的重要组成部分,可靠和准确的道路分割结果是许多自动驾驶任务,如路径规划、驾驶决策等的前提条件。作为自动驾驶系统环境感知部分的基础任务,道路分割问题已经被研究了很多年,现有的道路分割算法已经能够获得比较准确的道路区域分割结果,但是很多算法在道路分割精度和算法计算复杂度之间不能取得很好的平衡,道路分割算法的稳定性也需要进一步提升。论文主要是研究城市场景中的道路分割问题,根据所使用的传感器数据类型差异,可以分为基于雷达点云数据的道路分割研究,以及基于激光雷达和相机数据融合的道路分割研究。前者主要是针对当前基于雷达点云数据的道路分割算法精度不高这一现状,从雷达点云数据的表示形式以及处理流程两个方面进行研究,以提升雷达道路分割算法的分割精度。后者则是基于改进后的雷达点云数据表示形式和处理流程,对道路分割任务中激光雷达与相机之间的数据融合做进一步深入的分析和研究。论文的主要内容包括:(1)针对雷达道路分割算法精度不高的问题,本文提出了一种基于归一化逆深度直方图和线扫描优化的雷达道路分割方法,对雷达点云数据的表示形式以及道路分割算法进行改进。为了获得平滑稠密的雷达数据表示形式,该方法将雷达点云数据投影到相机图像平面上,通过三角形上采样处理得到平滑稠密的雷达数据表示和归一化逆深度图。对于道路分割,该方法利用实际道路区域在归一化逆深度图的水平和垂直直方图中的分布规律,快速的得到一个初始道路区域估计结果。之后,通过按行和按列线扫描相结合的优化方法,进一步提升道路分割精度。实验显示,该方法获得传统雷达道路分割方法中最优的道路分割结果。(2)针对方法(1)计算复杂度相对较大的问题,本文提出了一种基于雷达图像和三角形填充的道路分割方法,通过引入雷达图像表示形式以及对雷达数据的处理流程进行改进,在保持道路分割精度的同时,极大的减小了算法计算开销。雷达图像是一种类图像的表示形式,基于三维雷达点在水平和垂直方向上的角度信息构建。为了减小道路分割过程中的计算开销,该方法首先基于雷达图像表示进行道路分割,得到雷达图像内的道路分割结果。之后,将此道路分割结果投影到相机图像平面上,通过三角化填充,得到相机图像内的稠密道路分割结果。实验显示,该方法可以得到与方法(1)接近的道路分割结果,同时计算开销大幅减小,在本文的硬件配置下,可以以每秒40帧的速率获得相机图像内的稠密道路分割结果。(3)针对传统道路分割方法(1)和(2)中涉及较多参数需要人为设定的问题,本文提出了一个基于多视角雷达数据融合的道路分割网络,通过引入深度学习技术,降低道路分割算法的设计难度以及人为因素对于道路分割结果的影响。该网络以雷达点云数据的两种连续有序表示形式,雷达图像表示和相机透视表示作为输入,可以通过端到端的形式输出雷达图像视角和相机透视视角下的像素级别道路分割结果。为了充分利用这两种雷达数据表示形式之间的数据关联特性,本文引入了一种视角转换的网络结构,可以将雷达图像视角下的特征信息转换到相机透视视角下,从而实现卷积网络中不同视角下数据的融合,可以增强相机透视视角下的道路分割过程。实验显示,该多视角雷达数据融合网络取得了当前最优的雷达道路分割结果,同时在本文的硬件配置下,每帧雷达数据的处理时间仅为40毫秒。(4)针对现有条件随机场融合算法中,大部分以相机图像数据为主,雷达点云数据为辅的问题,本文提出了一种基于多模态条件随机场下激光雷达和相机数据融合的道路分割方法,通过引入多模态条件随机场框架,实现道路分割任务中雷达点云数据与相机图像数据的均等融合。该方法主要由两个部分组成,分别是基于单传感器的道路分割和基于多模态条件随机场的数据融合。其中,在单传感器道路分割部分,基于雷达点云数据的道路分割是采用方法(2),基于相机图像数据的道路分割,则是采用了一种基于迁移学习的轻量道路分割网络。在多模态条件随机场融合部分,为了解决不同传感器数据之间存在的数据不均衡问题,本文首先将基于单传感器的道路分割结果都转换为相机透视视角下的稠密二值表示形式,之后在多模态条件随机场框架下对这两个分割结果进行均等融合,得到最终的道路分割结果。实验显示,该方法可以实现实时准确的道路区域估计。(5)针对当前道路分割算法在道路分割精度和算法计算复杂度之间不能取得很好平衡的问题,本文提出了一个基于激光雷达和相机数据融合的道路分割网络,通过改进雷达和相机数据的处理流程,在保证算法实时性的前提下,提升道路分割精度。该融合网络以雷达图像表示和相机图像数据为输入,可以输出雷达图像视角和相机透视视角下的道路分割结果。对于雷达图像表示和相机图像数据,该融合网络使用两个具有不同结构的子网络分别处理,两个子网络之间通过一个视角转换层结构实现数据关联。视角转换操作将雷达子网络中具有丰富语义信息的高层特征传递到相机子网络,从而实现相机透视视角下激光雷达与相机的数据融合。实验显示,该融合网络在所有实时道路分割方法中取得了最高的道路分割精度,在本文的硬件配置下,每帧数据的处理时间仅为25毫秒。
其他文献
本文运用对称性理论、动力系统分支理论研究了数学物理方程中若干非线性模型的相关问题,主要包含以下四个方面的相关内容:Lie对称理论、最优系统、分数阶微分方程和动力学理论。具体章节安排如下:第一章绪论部分,介绍了本文研究内容的理论背景和发展现状,这些理论包括对称理论、最优化理论、分数阶微分方程理论和动力系统分支理论,并阐明了本论文的主要的研究内容。第二章在对称理论的分析的基础上,利用经典的李群方法研究
自20世纪初期排队论提出以来,排队系统的理论研究一直被广泛地应用于社会服务、生产制造、无线认知网络和计算机科学等领域。而随着科学技术和管理理念的发展,批服务的情形普遍存在于各类现代随机服务系统中。本学位论文将致力于复杂批服务排队系统的稳态性能研究,主要研究工作如下。第一,研究了带有重试轨道和不坚持顾客的M/M/1批服务排队系统。利用拟生灭过程的遍历条件,我们证明了该系统稳态存在的充分必要条件;之后
期刊
经典的Liouville定理指出在全空间上的有界调和函数一定是常数.近几十年来,Liouville定理被国内外学者广泛地研究和推广到各种方程(组)中.同时,该定理也被用于研究各类方程(组)解的存在性和不存在性(Liouville型定理)以及解的对称性和单调性等.另外,Heisenberg群上的次椭圆(Kohn-Laplacian)算子ΔH是典型的点点退化的椭圆型算子,在几何控制、非完整力学、金融数
客观世界由各种不同系统构成,随着科学技术的发展及实际工程控制系统设计的需要,各种复杂系统不断涌现在人们面前,并期待人们去认识与研究.作为复杂系统之一,分数阶发展方程是研究含有非整数阶导数的微分方程的性质及其应用的数学学科,是经典的整数阶发展方程的推广.近年来,研究人员发现用分数阶模型能更准确地模拟和描述现实生活中具有记忆和遗传特性的问题,如:多孔介质中的弥散、流体运动中的湍流以及粘弹性系统等.另一
目的探讨维生素D3辅助治疗儿童重症哮喘的临床疗效以及对血清炎症因子表达水平的影响。方法选取156例重症哮喘的儿童,随机分为实验组和对照组,每组78例。对照组给予经典治疗方案,实验组在经典治疗方案基础上再加维生素D3进行治疗。比较两组患者治疗前后的临床症状与体征消失时间、肺功能变化、Toll样受体4(TLR4)、血清S100β蛋白表达水平的变化。对患者进行1年随访,观察其哮喘复发情况。结果治疗后,两
非平衡流与多相流广泛存在于自然界和工程领域,比如在超新星爆发、高超声速飞行、惯性约束核聚变、微机电系统和微流控技术、油气开采、发动机中的燃料混合与燃烧等问题中都会涉及。对于这类流动问题的研究不仅具有重要的科学意义,还能为工程实践提供有效指导。非平衡和多相流动问题通常具有复杂的时空多尺度和强非线性特征,对这类问题的研究既需要可靠的物理模型也需要有效的数据分析和信息提取技术。本文从物理建模和数值模拟两
为了实现受控热核聚变,很多国家相继开始了高功率固体激光驱动器的研制,且随着驱动装置功率的不断提高,光学元件的中高频参数对装置性能的影响日渐凸显,传统低频参数的评价及检测方法都已经不能满足需求。这里中高频参数是指光学元件表面微米到毫米量级的疵病(例如划痕、麻点)和空间周期为0.12mm~33mm的波面误差。论文从表面疵病对光学元件及光束典型传输位置处的影响、浅划痕检测、波面数据预处理及提高中高频功率
在壁面流动或钝体绕流中,流场中的一些不稳定机制,如Kelvin-Hemlholtz(KH)不稳定、椭圆不稳定等,使得扰动能量出现指数增长或瞬间放大,从而引起流动失稳,诱发流动转捩形成湍流,使得钝体或壁面所受阻力增加,这不利于航行器综合性能的提升。所以,需要施加一些控制来抑制扰动增长。流动系统根据扰动演化特征可分为振荡器和噪声放大器流动:若流场中存在随时间增长的全局扰动模态,且非稳态流动结构的空间演
水是普通而又十分重要的物质,与人类社会的发展息息相关,长期以来关于水的研究工作取得了丰富的科学成果。其中,液态水中放电引起的电离激发和液电效应具有很好的研究价值。电磁流动控制(EMFC,Electro-Magnetic Fluid Control)是通过电磁力(Lorentz Force,Electro-Magnetic Body Force)的形式将能量传输到流体边界层中,使得靠近物体壁面的流体