汽车自诞生以来给人类的生产生活带来了极大的便利,与此同时也带来了许多的负面影响,比如安全问题。安全性的提升也是近年来自动驾驶研究获得这么多关注的原因之一,除此之外,自动驾驶也能够进一步提升效率,可以实现物流、工厂、商品运输等自动化流程。现实世界中的自动驾驶汽车是由大公司的大型团队通过大量的工程努力构建的。现如今随着深度学习的发展,自动驾驶任务的端到端实现也可以由一些智能算法来完成。基于此背景,本文结合了表示学习和强化学习在CARLA自动驾驶模拟器中实现了端到端的自动驾驶策略学习。利用表示学习的方法处理不同传感器的数据来提取特征,生成的特征作为系统状态输入到强化学习算法当中,直接输出控制车辆的策略。本文的主要工作如下:（1）提出了多传感器融合的表示学习模块,用来处理不同传感器的输入,具体的实现是:基于Vision Transformer搭建了RGB图像特征提取网络,基于Dense Net搭建了深度图特征提取网络,基于Point Net++搭建了点云数据特征提取网络。该模块有效提升了多源信息的融合效率。（2）针对自动驾驶任务中的连续动作空间设计了强化学习模块,探索了确定性策略和随机性策略在不同任务上的效果,对于不同的任务设计了有效的奖励函数。（3）提出了预训练与离线训练结合的训练框架。利用公开数据集CIFAR、Image Net和Model Net进行了表示学习模块的预训练,有效提升了对于状态信息的提取,降低了传统强化学习中的不稳定性。多传感器融合的特征提取提升了系统的泛化性,使得该框架可以适用于更丰富的场景。（4）搭建了CARLA模拟器的训练框架,进行了不同自动驾驶任务的训练,测试并验证了所提出的多传感器融合的深度强化学习算框架在不同场景地图间的泛化能力。