环境感知与控制是实现汽车无人驾驶的关键技术。近年来深度学习技术发展迅猛,在机器视觉、自然语言处理以及控制操作等领域表现出准确率高,鲁棒性强的优点。本文结合深度学习技术对无人驾驶环境感知中的多尺度物体目标检测问题与基于端到端的控制问题进行了研究。首先,为保证深度学习算法的准确性与模型在无人驾驶汽车领域的适用性,本文针对汽车在不同种类路面行驶时面临的逆光、遮挡、截断等工况建立了用于深度学习的无人驾驶汽车专用数据集。经有效的筛选与标注后本文所建数据集共包含40万个左右的目标,基本覆盖汽车行驶时的各种工况,具有场景全面,准确率高的特点。其次,在无人驾驶环境感知方面,本文对当前经典的目标检测框架以及主流多尺度目标检测算法进行研究分析。在分析结果的基础上综合处理卷积特征的空间分辨率与语义级别之间的关系,从深度学习网络结构出发提出了一种能够在不同分支输出具有不同空间分辨率和相同语义级别特征的多分支深度学习网络,并在多个有代表性的公开数据集上对本文所提网络进行对比实验,验证了所提算法的有效性。第三,本文从无人驾驶汽车端到端控制的已有研究出发,综合分析不同时期端到端控制模型的特点,结合具有良好特征提取能力的多分支网络模型结构,对多分支网络模型进行改造,设计了一种基于多分支网络模型的端到端控制模型并在无人驾驶汽车控制中进行了应用。最后,为了证明所提方法在无人驾驶汽车领域的适用性,本文在自建的无人驾驶汽车数据集上进行了实验研究,实验结果表明本文所提方法能够较好的解决无人驾驶汽车环境感知与控制问题。