论文部分内容阅读
道路分割是自动驾驶系统中的重要组成部分,可靠和准确的道路分割结果是许多自动驾驶任务,如路径规划、驾驶决策等的前提条件。作为自动驾驶系统环境感知部分的基础任务,道路分割问题已经被研究了很多年,现有的道路分割算法已经能够获得比较准确的道路区域分割结果,但是很多算法在道路分割精度和算法计算复杂度之间不能取得很好的平衡,道路分割算法的稳定性也需要进一步提升。论文主要是研究城市场景中的道路分割问题,根据所使用的传感器数据类型差异,可以分为基于雷达点云数据的道路分割研究,以及基于激光雷达和相机数据融合的道路分割研究。前者主要是针对当前基于雷达点云数据的道路分割算法精度不高这一现状,从雷达点云数据的表示形式以及处理流程两个方面进行研究,以提升雷达道路分割算法的分割精度。后者则是基于改进后的雷达点云数据表示形式和处理流程,对道路分割任务中激光雷达与相机之间的数据融合做进一步深入的分析和研究。论文的主要内容包括:(1)针对雷达道路分割算法精度不高的问题,本文提出了一种基于归一化逆深度直方图和线扫描优化的雷达道路分割方法,对雷达点云数据的表示形式以及道路分割算法进行改进。为了获得平滑稠密的雷达数据表示形式,该方法将雷达点云数据投影到相机图像平面上,通过三角形上采样处理得到平滑稠密的雷达数据表示和归一化逆深度图。对于道路分割,该方法利用实际道路区域在归一化逆深度图的水平和垂直直方图中的分布规律,快速的得到一个初始道路区域估计结果。之后,通过按行和按列线扫描相结合的优化方法,进一步提升道路分割精度。实验显示,该方法获得传统雷达道路分割方法中最优的道路分割结果。(2)针对方法(1)计算复杂度相对较大的问题,本文提出了一种基于雷达图像和三角形填充的道路分割方法,通过引入雷达图像表示形式以及对雷达数据的处理流程进行改进,在保持道路分割精度的同时,极大的减小了算法计算开销。雷达图像是一种类图像的表示形式,基于三维雷达点在水平和垂直方向上的角度信息构建。为了减小道路分割过程中的计算开销,该方法首先基于雷达图像表示进行道路分割,得到雷达图像内的道路分割结果。之后,将此道路分割结果投影到相机图像平面上,通过三角化填充,得到相机图像内的稠密道路分割结果。实验显示,该方法可以得到与方法(1)接近的道路分割结果,同时计算开销大幅减小,在本文的硬件配置下,可以以每秒40帧的速率获得相机图像内的稠密道路分割结果。(3)针对传统道路分割方法(1)和(2)中涉及较多参数需要人为设定的问题,本文提出了一个基于多视角雷达数据融合的道路分割网络,通过引入深度学习技术,降低道路分割算法的设计难度以及人为因素对于道路分割结果的影响。该网络以雷达点云数据的两种连续有序表示形式,雷达图像表示和相机透视表示作为输入,可以通过端到端的形式输出雷达图像视角和相机透视视角下的像素级别道路分割结果。为了充分利用这两种雷达数据表示形式之间的数据关联特性,本文引入了一种视角转换的网络结构,可以将雷达图像视角下的特征信息转换到相机透视视角下,从而实现卷积网络中不同视角下数据的融合,可以增强相机透视视角下的道路分割过程。实验显示,该多视角雷达数据融合网络取得了当前最优的雷达道路分割结果,同时在本文的硬件配置下,每帧雷达数据的处理时间仅为40毫秒。(4)针对现有条件随机场融合算法中,大部分以相机图像数据为主,雷达点云数据为辅的问题,本文提出了一种基于多模态条件随机场下激光雷达和相机数据融合的道路分割方法,通过引入多模态条件随机场框架,实现道路分割任务中雷达点云数据与相机图像数据的均等融合。该方法主要由两个部分组成,分别是基于单传感器的道路分割和基于多模态条件随机场的数据融合。其中,在单传感器道路分割部分,基于雷达点云数据的道路分割是采用方法(2),基于相机图像数据的道路分割,则是采用了一种基于迁移学习的轻量道路分割网络。在多模态条件随机场融合部分,为了解决不同传感器数据之间存在的数据不均衡问题,本文首先将基于单传感器的道路分割结果都转换为相机透视视角下的稠密二值表示形式,之后在多模态条件随机场框架下对这两个分割结果进行均等融合,得到最终的道路分割结果。实验显示,该方法可以实现实时准确的道路区域估计。(5)针对当前道路分割算法在道路分割精度和算法计算复杂度之间不能取得很好平衡的问题,本文提出了一个基于激光雷达和相机数据融合的道路分割网络,通过改进雷达和相机数据的处理流程,在保证算法实时性的前提下,提升道路分割精度。该融合网络以雷达图像表示和相机图像数据为输入,可以输出雷达图像视角和相机透视视角下的道路分割结果。对于雷达图像表示和相机图像数据,该融合网络使用两个具有不同结构的子网络分别处理,两个子网络之间通过一个视角转换层结构实现数据关联。视角转换操作将雷达子网络中具有丰富语义信息的高层特征传递到相机子网络,从而实现相机透视视角下激光雷达与相机的数据融合。实验显示,该融合网络在所有实时道路分割方法中取得了最高的道路分割精度,在本文的硬件配置下,每帧数据的处理时间仅为25毫秒。