准确感知外部环境变化是智能汽车实现量产的必要前提。现有的感知方案通过多种传感器实现精确的环境感知,并通过硬件冗余设计保证系统的稳定性。但这类方案不仅因为传感器过多导致标定过程较为复杂,还因为数据量过大使得车载处理器出现实时性问题,另外高昂的硬件成本也不利于智能汽车的量产与推广。因此研究低成本的感知算法对于智能汽车的环境感知与容错能力具有重要的意义。本文以容错感知为研究目标,针对现有的感知方案在各个环节面临的容错问题,尤其是虚拟视觉生成、深度估计、深度补全以及虚拟点云的目标检测等四方面进行研究。并从实际应用的角度出发,探讨基于多源信息融合的容错感知技术在智能驾驶方案中的可行性。具体工作内容包括:1.针对双目视觉系统在单目信号缺失、遮挡、污染等极端工况下出现无法正常运行的冗余性问题,提出一种基于生成对抗网络的虚拟视觉生成算法。该算法通过引入3D卷积和注意力机制提取基于图像、深度、光流三种模态的时序信号特征,增强稀疏特征的鲁棒性。同时,引入判别网络实现模型间的对抗训练,进一步减少虚拟视觉的重构误差。最后通过实验验证了该方法在极端工况下具有显著提升虚拟视觉重构精度与推理速度的能力,并借助SLAM系统进一步验证算法结果在轨迹追踪等感知任务中的实用性。2.针对双目视觉系统出现视觉信号缺失无法进行深度感知的问题,提出一种基于图卷积的单目视觉深度估计算法。不同于需要通过匹配相同像素位置获得视差信息的传统算法,该算法使用卷积神经网络对单目图像进行深度感知,避免因特殊工况导致的标定失真、信号缺失、信号污染等问题。模型通过引入像素级的深度拓扑图和图卷积神经网络,获取具有深度相关关系的图像特征,缓解模型因层数加深导致的梯度消失问题。另外,针对深度关联特征过于稀疏的问题提出重构深度拓扑图损失函数,并结合多尺度结构提升深度估计的精度。实验证明,该方法与传统方法相比,在估计小体积物体深度时具有显著优势。3.针对低线束激光雷达因采样数据过于稀疏无法完成复杂环境下的感知任务问题,提出一种基于稀疏点云的深度补全算法。该算法能够将稀疏点云与图像信息进行特征融合获得稠密深度信息,提升传感器的感知精度。首先,模型采用非对称卷积进行图像特征提取,以避免图像中存在的特征不平衡问题。其次,模型借助注意力机制对图像特征进行频域解耦,保证不同频域特征之间的独立性。最后根据提取到的图像特征与稀疏点云进行特征融合获得深度补全结果。通过多种数据集验证,该算法能够在降低模型复杂度的同时显著提升稀疏点云的稠密度,增强环境感知的能力。4.针对高线束激光雷达信号缺失时智能驾驶方案在感知环节中缺少冗余替代的问题,提出一种基于虚拟点云的3D目标检测算法。该算法通过低线束激光雷达与摄像头采集的稀疏点云与图像生成虚拟点云,并引入深度纠偏模块提升虚拟点云的精度。针对目标检测任务中存在的特征不平衡问题,引入基于复合损失函数的RPN网络,提升候选框精度减少二阶段检测模块的重复计算负担。实验结果表明,该算法在多个数据集中表现出色,能够完成近似于高线束激光雷达的3D目标检测结果。