智能驾驶关键技术主要包括感知、认知和控制三个部分。环境感知作为其第一个环节,是认知和控制的基础。它使用车载传感器对本车及周边环境信息进行采集和处理,得到驾驶环境中各目标语义和位置信息,并将此信息提供给驾驶认知环节。视觉相机和激光雷达作为环境感知中最为重要的两种车载传感器,主要存在如下问题:视觉相机分辨率较高但其距离检测精度较低,激光雷达测距精度高但点云稀疏,无法描述细节特征,使用单一模态传感器均存在信息不全面的问题;视觉相机和激光雷达的采样频率不同,安装位置和数据形式也存在较大差异,导致二者在融合过程中时空无法精确配准,也难以使用通用方法处理不同模态数据。针对以上问题,围绕多模态融合感知方法,本文的主要研究内容和贡献如下:1)为解决多源异构传感器时空同步问题,提出了一种视觉相机和激光雷达联合自动标定的方法。在空间标定上,通过对标定板位置的多次识别,自动计算各传感器之间的转移矩阵,并采用重投影法和最大似然估计降低空间标定误差;在时间标定上,使用多线程法实现不同采样频率传感器的时间配准。2)提出了一种基于多模态特征的目标分类方法。该方法将激光雷达点云稠密化为两种伪相机数据（深度特征图和深度、高度、角度特征图）,再与视觉相机的颜色特征数据融合,采用六通道卷积神经网络进行特征学习和分类。实验表明,与仅使用图像颜色特征相比,使用RGB-LIDAR联合特征的目标分类准确率能够提高5%,而使用RGBDHA联合特征的准确率能够提高15%。3)针对复杂室外条件下智能驾驶汽车目标识别问题,提出了一种分级多视图候选神经网络模型。该模型将深度学习与传统启发式方法相结合,是一种端到端的目标识别模型。它存在多个分级网络,RGB图像作为主网络的输入用于目标识别;而雷达数据以四个投影视图和原始3D点云的形式作为从网络的输入,为目标识别生成位置候选区域。实验表明,该方法比现有方法在目标候选区域识别的召回率上高出20%以上,在目标识别平均准确率上高出10%。4)受驾驶认知的启发,提出了一种基于残差注意长短期记忆网络的目标跟踪方法。该方法将选择性注意和选择性记忆融入环境感知中,使用基于规则的学习以及相似性得分和相似性得分变化作为学习依据,稳健地构建了时空关注模型和注意力选择机制。实验表明,该方法与现有的深度跟踪器相比,在保证目标跟踪成功率的基础上,跟踪速度提升了6倍。