多智能体强化学习方法之前一直在博弈论和控制论的基础上进行研究,但是实验结果表明,这一类多智能体强化学习方法无法处理现实生活中的复杂问题。直到最近几年深度学习技术和强化学习技术的成熟,给群体智能的研究带来了新的解决方案。通过深度神经网络来拟合策略函数使得智能体有更强的处理复杂问题的能力。本课题主要研究多智能体强化学习方法在对抗与协作环境下的应用,以及算法稳定性的提升和智能体的规模的扩大,使得智能体能够像人类一样在复杂环境下能够互相协作地与其他智能体进行对抗。首先,本文的研究在GYM平台上进行,该平台包含众多游戏场景,是由Open AI开发的供给强化学习方法研究平台。本文根据MADDPG算法实现了一个群体智能对抗策略。该策略能够与GYM平台进行交互,读取智能体集群的信息,然后做出决策,控制智能体集群中的智能体互相协作,达到与其他智能体集群对抗的目的。其次,本文针对DDPG方法做出了改进,将确定性策略改为随机策略,以增加样本的复杂性,提高算法的稳定性,并对DDPG的策略梯度更新方式做出了修改,保证算法性能在训练过程中保持单调不减。本文还在改进后的MADDPG算法的基础上加入注意力机制,使得智能体集群中的单个智能体对其他智能体分配不同的注意程度,以达到减少算法的计算复杂度,增加智能体集群的数量的目的。最后,本文对比分析了MADDPG算法、改进后的MADDPG算法和加入注意力机制后的MADDPG方法在GYM上的变现差异。通过实验发现,加入了注意力机制后的MADDPG算法的表现要好于传统的MADDPG方法。