经验回放技术能够让智能体使用过去的经验样本进行策略优化。当只有一个智能体与环境交互时,经验回放技术能够提升智能体的学习效率。然而在多智能体系统中,如果智能体使用以前的经验样本来更新当前的策略,可能会使智能体在后续的博弈中不再占有优势;如果智能体只关心当前的博弈形势,可能会让智能体过分重视短期收益而忽视了长期回报。针对上述问题,本文分别从如何保存经验样本、使用哪些经验样本以及怎样利用经验样本三个方面进行了研究。主要的研究内容可被概述为:(1)本文首先对如何保存经验样本进行了研究。在多智能体博弈中,由于非静态性的影响,增加经验样本多样性会妨碍智能体获得最大期望回报,减少多样性会让策略失去泛化能力。针对此问题,我们提出了基于蓄水池算法的并发经验回放。实验结果表明,本文提出的经验回放方法在增加经验样本多样性的同时,还提升了策略的泛化能力。(2)本文接着对使用哪些经验样本进行了研究。一些经验样本可以提升策略的优化质量,而另一些会降低策略的稳定性。况且,在一个多人博弈中,每个参与者扮演的角色可能是不同的。所以,对不同智能体而言,同一经验样本的使用价值存在一定的差异。针对以上问题,我们提出了基于优先级采样的并发经验回放。在新的经验回放方法中,各智能体会基于当前的博弈形势来评估经验样本的重要性。在两个多智能体任务上的实验结果证明了我们提出的方法的有效性。(3)本文最后对怎样利用经验样本进行了研究。策略的优劣不仅依赖于经验样本质量的高低,还取决于学习算法的好坏。由于Q学习算法使用同一个动作值函数来选择、评估动作,因此会导致高估问题。同时,在多智能体强化学习中,高估现象还会让智能体过于乐观地看待未来的博弈形势。为了进一步提升策略的性能,我们在使用更先进经验回放技术的同时,还将双Q学习算法与多智能体策略梯度相结合,提出了一种新的多智能体策略梯度算法。实验结果表明,我们提出的算法使智能体在博弈中拥有更大的优势,增强了策略的健壮性。