深度强化学习（Deep Reinforcement Learning,DRL）可以在模型完全未知且无训练集的基础上,进行端对端的、状态到动作的复杂高维映射关系的自学习。目前,在游戏、机器人控制、芯片设计以及智能驾驶等领域都得到了成功的应用。然而,目前基于DRL在汽车主动悬架控制领域的研究甚少,特别是在主动悬架的减振和侧倾集成控制问题上仍未被涉及。因此,本文针对汽车主动悬架系统的平顺性和侧倾稳定性等关键问题,基于深度强化学习算法理论,提出五种主动悬架强化学习控制策略。主要研究工作如下:针对实际主动悬架系统动力学模型难以获取以及神经网络控制方法需要大量带标签的样本数据的问题,分别提出基于深度Q网络算法（DQN）和深度确定性策略梯度算法（DDPG）的主动悬架无模型控制策略。DQN策略通过对作动力进行离散化,并利用神经网络对Q值进行估计,实现系统状态到作动力的端对端映射控制。DDPG策略使用神经网络逼近值函数和确定性策略,并输出动作的概率分布,解决了连续作动力控制问题。采用1/4悬架模型进行上述策略的仿真验证,结果表明两种强化学习控制策略均可以有效抑制车身振动,且DDPG策略具有更好的控制性能。针对强化学习训练初期效率低以及随机探索可能违反实际系统安全约束等问题,通过改进DDPG算法,提出一种基于安全深度确定性策略梯度算法（S-DDPG）的主动悬架控制策略。建立具有动挠度和轮胎动载荷安全约束的非线性主动悬架半车模型,并进行马尔可夫建模;通过引入经验样本并进行预训练,来提升算法训练的探索效率和质量,同时,使用Dropout机制以提高泛化与容错能力。在此基础上,考虑直行工况下的车辆平顺性,从时域和频域两个角度进行对比仿真。结果表明,所提出的算法可以在提高训练过程安全性的同时有效提升悬架系统的平顺性和操纵稳定性。针对高速转向工况下的侧倾稳定性需求,通过直接控制侧倾力矩,并以跟踪目标侧倾角为主要目的,设计了基于双延迟深度确定性策略梯度算法（TD3）的主动悬架侧倾控制策略。具体而言,建立了6自由度侧倾-转向模型,并基于逆向侧倾控制机理设计目标侧倾角。然后设计了具有梯度型奖惩函数的TD3策略框架。最后设计滑模控制策略用于对比。仿真结果证实了所提出的策略能快速有效地跟踪不同比例的期望侧倾角,降低横向载荷转移率,提高侧倾稳定性及侧翻极限。针对直行-转向混合工况下平顺性与侧倾稳定性的综合优化需求,结合模糊控制和强化学习算法,提出了融合平顺性控制模式（RCM）和侧倾稳定性控制模式（RSCM）的双模式模糊切换强化学习控制策略（Fuzzy-TD3）。定义了包含两种模式的集成奖惩函数,并设计具有延迟机制的双模式模糊切换控制策略用于决策TD3算法的奖惩函数形式。然后通过训练获得一种具有平顺性和侧倾稳定性综合优化性能的集成控制策略。最后,进行对扭路面激励下的数值仿真,表明所提出的策略可以综合提升车辆的平顺性和侧倾稳定性等性能。