智能化是未来汽车技术发展的主要趋势,环境感知是智能驾驶系统的重要组成部分。为了能够实现安全的行驶任务,车辆需要搭载各类传感器（激光雷达,相机,雷达,V2X等）来对驾驶场景进行感知与理解,为后续决策规划提供重要参考信息。然而,在结构化的城市道路场景中,行车环境复杂,人车混行,交通拥堵且容易形成遮挡,这些问题给环境感知带来了巨大的挑战。道路边界是智能驾驶行车环境中的重要交通要素之一。在结构化道路中,道路边界检测对于智能驾驶行车安全至关重要。它定义了车辆的可行使区域,为决策规划层提供重要的指导信息。然而,实际道路形状复杂多变并且道路内外障碍物存在遮挡,这给当前基于激光雷达的道路边界检测方法带来了巨大的挑战。三维目标检测是智能驾驶环境感知的一项重要任务。当前基于激光雷达的三维目标检测方法需要依赖锚框作为先验,极大增加了模型的复杂度和计算量,影响模型的泛化能力和性能。因此,如何消除三维目标检测方法对于锚框的依赖,降低模型复杂度和计算量的同时提升模型性能,尚需进一步探索。此外激光雷达点云本身的稀疏性,缺乏颜色和纹理信息,这限制了基于激光雷达的目标检测方法的性能。相机可以提供具有颜色和纹理信息的图像,但是图像和点云是周围环境在不同视角空间下的表达,这给基于激光雷达和相机融合的目标检测方法带来了极大的挑战。因此,如何根据不同视角特征的差异实现多模特征自适应融合是当前基于相机和激光雷达融合的三维目标检测方法亟待解决的问题。为了解决以上问题,本文利用点云与图像数据分别针对基于激光雷达的道路边界检测,基于激光雷达的三维目标检测,和基于激光雷达与相机融合的三维目标检测等问题开展了深入的研究。具体研究内容如下:1.基于激光雷达的道路边界检测方法研究。针对道路边界检测中障碍物遮挡、道路形状复杂多样等问题,本文在手工提取道路边界特征点的基础上开展了弯曲道路下道路边界点分类和障碍物遮挡复杂道路形状下的道路边界点提取的研究。在道路边界点分类部分,本文提出了两种方法:基于改进的密度聚类方法和基于道路分割线的方法。基于改进的密度聚类方法通过借鉴空间密度聚类和密度峰值聚类的思想,实现了准确的道路边界点分类,但是该算法复杂度高,计算量大。基于道路分割线的方法通过光束模型确定道路分割线进而实现道路边界点的分类,该方法在保证准确性的同时显著降低了计算量,提升了算法的效率。为了准确地提取道路边界点,本文提出采用非参数化的高斯过程模型建模复杂形状的道路边界,通过迭代地高斯过程回归实现了道路边界点的准确提取,同时有效排除道路内外障碍物的干扰。通过KITTI数据集的实验结果表明:本文提出的道路边界检测方法在保证实时性的同时,可以在多种复杂形状和障碍物遮挡道路下准确地提取左右道路边界点,满足了智能驾驶对算法实时性和准确性的要求。2.基于激光雷达的三维目标检测方法研究。针对当前基于激光雷达的三维目标检测方法严重依赖锚框的问题,本文借鉴Center Net中基于关键点检测的思想,提出了无锚框的三维目标检测模型Center Net3D。在检测头部分,对每个像素进行目标中心点分类并直接回归三维边界框。为了使模型能够感知目标的形状信息,本文提出了一个角点分类模块来提升边界框回归的质量。为了解决单阶段目标检测模型中存在的分类置信度与边界框定位准确性不一致的问题,本文通过利用中心点和角点提出了一个高效的关键点敏感变形模块。通过KITTI数据集的实验结果表明:相比于基于锚框的模型,本文提出的Center Net3D实现了更好的性能,显著提升了对于困难目标的识别性能,同时消除了锚框和非极大值抑制,整个网络结构更简洁,推理速度更快。3.基于激光雷达与相机融合的三维目标检测方法研究。针对当前激光雷达不同视角点云特征以及图像特征融合的难题,采用注意力机制,本文提出了单阶段的多视图自适应融合的三维目标检测模型MVAF-Net。整个网络包含三部分:单视图特征提取,多视图特征融合和融合特征检测。在单视图特征提取部分以点云鸟瞰图,点云距离图和图像三种数据流作为输入,采用三分支的主干网络分别提取三种输入的特征。在多视图特征融合部分,为了实现逐点多视角特征自适应学习与融合,本文提出了注意力逐点融合模块和注意力逐点加权模块。注意力逐点融合模块通过注意力机制来融合有用的特征同时抑制无用的干扰信息,实现了多视图特征的自适应融合。注意力逐点加权模块通过额外的前景点分类和中心偏移回归来提升网络对于特征的学习能力。通过在KITTI数据集的实验验证了注意力逐点融合和加权模块的有效性,提出的MVAF-Net模型在KITTI测试集上产生了竞争力的结果,并且超越了所有单阶段融合方法。同时相比于Center Net3D模型,显著提升了对于远距离困难目标和小目标的性能,实现了速度和精度之间的最佳权衡。