强化学习作为机器学习领域的重要分支之一,是一种通过在环境中不断试错从而得到最优策略的方法。而得益于深度学习近年来的发展,结合强化学习与深度学习所形成的深度强化学习成为了一个热门的研究领域,并在许多问题上取得了突破性的进展。在深度强化学习算法中,异策略强化学习算法凭借其对样本数据极高的利用率在部分问题上具有显著优势。但是由于真实环境中的控制问题往往极其复杂,获得经验样本的成本非常昂贵,而且现有强化学习算法往往具有收敛速度较慢、在稀疏回报环境中收敛效果较差等缺点,因此如何对异策略强化学习算法进行优化使其更加高效地学习到最优策略仍然是当下研究者们关注的重点问题。为了探索并优化异策略强化学习算法,使其更加高效地完成各种决策任务,本文结合已有的异策略强化学习算法,针对其在经验回放机制以及稀疏回报环境中所存在的问题进行研究,主要完成了以下工作:（1）一种针对异策略强化学习的样本采样策略。本文提出的针对异策略强化学习算法的样本采样策略着重于提高近端交互数据的采样频率,通过对近端交互数据和其余交互数据使用不同的采样策略代替了传统异策略强化学习使用的随机采样策略,并将优化后的算法用于多种仿真环境验证其有效性。（2）一种基于路径积分的回报重塑方法。本文提出一种利用路径积分对强化学习的回报值进行重新分配的方法,该方法以强化学习算法与环境交互的顺序作为积分路径,将积分路径上的回报进行重新分配,使得重新分配后的回报相较于原回报更加易于学习最优策略。并将该方法与已有的异策略强化学习算法结合,在多种仿真环境中进行实验后验证其有效性。本文针对异策略强化学习算法设计了两种优化算法,分别针对样本采样策略和在稀疏回报环境下的收敛能力进行优化,并在相应仿真环境中验证了算法的有效性。