多智能体系统由一系列同构或异构的智能体构成,系统内智能体之间相互作用,常常形成竞争或者合作关系,从而可以涌现出更高阶的复杂智能,因此能够用于处理单个智能体难以解决的问题。近年来,从AlphaStar在星际争霸Ⅱ天梯系统达到宗师段位,到OpenAI Five击败dota2世界冠军战队,多智能体系统的最优控制已然成为强化学习领域的一个热门研究方向。多智能体系统形式多样,自然界中,天空中集体飞翔的鸟群、海洋中成群结队的鱼群以及陆地上结群捕猎的狼群,由于都涉及群体成员的相互协作而实现更加复杂的群体智能,因此都可以看作是多智能体系统。工业界中,由多个机械臂组成的协同组装系统、无人机编队系统同样属于多智能体系统的例子。特别地,本文将以实战环境下的无人机协同作战系统为主要研究对象。实际对战环境中,战场态势风云变幻,因此无人机系统的对外效能将对系统内部的通信延迟特别敏感,此外,随着战局进行,无人机可能面临损毁风险,如果损毁的是指挥中心无人机,整个系统将陷入瘫痪局面。因此,无人机网络拓扑设计及通信链路质量将成为影响战局走向的关键因素。基于以上背景,本文主要工作总结如下:方法层面上,提出一种基于分组机制和先验知识的改进的MADDPG算法,将改进的算法与原始MADDPG模型进行红蓝对抗,胜率达到67%,实验结果表明,改进的算法模型兼具个体决策的速度优势与指挥中心决策的性能优势,因此与实战环境下的无人机协同作战任务更为契合。仿真层面上,本文基于开源的星际争霸Ⅱ强化学习环境SMAC,结合网络虚拟化技术,仿真无人机集群的网络拓扑及连接各个无人机的通信链路,构建了一个高度还原战场网络环境的仿真平台,并在仿真实验的基础上,对几种典型的网络拓扑模式的效能进行对比分析。此外,构建的仿真平台支持不同算法的直接对抗博弈,同时支持简单的电子对抗功能仿真。