智能车的决策算法是一个根据定位信息、感知信息与车辆自身信息,在保证车辆安全平稳驾驶的情况下,得到当前决策量的算法。在传统的决策方法中,决策算法需要得到车辆与车道线的相对位置、可行驶区域等感知与定位信息之后再进行决策值的计算,这意味着设计者需要设计一个包含许多前置算法的复杂系统,为决策模块提供所需的信息。端到端决策算法则是一种根据图像等原始信息输入直接得到决策量的算法,这种算法能够将感知模块与定位模块的部分功能抽象融合于算法中,从而将一个复杂的系统转换为一个算法模块。作为一种端到端算法,模型能够根据算法的输出量对算法进行全局的优化,使得该算法所控制的系统达到最优状态,而无需分别去优化各个前置模块。针对智能车端到端决策算法中缺少对未来决策值的预判和缺失深度信息的问题,本文提出了一种融合未来时空特征与图像深度信息的智能车端到端决策算法,本文主要研究内容如下:(1)本文提出了一种基于未来时空特征的智能车端到端决策模型,该模型利用基于卷积循环神经网络的时空特征子模块,在网络的不同分支上进行特征的提取,在将各个分支的特征利用全连接层进行融合以得到输出。将过去至当前时刻的图像序列作为网络的输入,利用未来时刻的转角值监督网络的训练,使得网络能够预测当前以及未来时刻的转角值。实验证明了卷积循环神经网络在时空特征提取任务中的优越性,也证明了包含未来信息的损失函数能够提高决策模型的精度,模型在Udacity数据集中的RMSE值为0.0412,已超越现存其他决策模型。(2)针对端到端决策网络对于深度信息的缺失问题,本文将基于深度学习的单目视觉深度估计方法作为端到端决策算法的前置算法,通过向端到端决策网络提供区域建议信息与补充深度信息的方式提高决策网络精度,考虑到在现实场景中难以获得稠密的深度标注信息,本文所提出的基于迁移学习的单目视觉深度估计网络能够利用生成对抗训练的方式缓解域漂移现象,使得网络能够在没有深度信息标注的数据集中也表现出较好的无监督深度估计效果。(3)本文将基于未来时空特征的智能车端到端决策算法与基于迁移学习的单目视觉深度估计方法进行融合,所构建的融合深度信息与未来时空特征的智能车端到端决策网络能够进一步的提升决策精度,在将本文所提出的决策模型部署至实际车辆中时,本文提出了一种利用未来时刻转角的输出平滑方法以解决端到端决策网络的输出抖动问题。