近年来,随着计算能力的提升和数据量的增长,人工智能逐渐成为计算机学科的热门研究方向。作为最贴近人类学习过程的人工智能方法,强化学习是目前最吸引人关注的明星领域之一。而多智能体强化学习作为博弈论和人工智能的交叉点,更是最前沿的研究点,目前已经在学界和业界得到广泛应用,例如机器人、游戏、推荐系统等。但是距离发展成为类似人脸识别或文本分类等成熟落地的人工智能技术,多智能体强化学习仍有许多科学问题和工业挑战需要克服。在多智能体强化学习的训练中,由于环境返回的奖励信号过于稀疏训练效率较低,训练所需的数据量巨大,导致训练的硬件要求和时间成本太高;并且现有的算法没有考虑到智能体之间的异构性,实际上这是多智能体博弈对抗问题中的一个重要因素;最后经过训练的强化学习模型经常过度拟合于特定任务,导致模型缺乏泛化性,使模型在应用于不同场景时不具备稳定性。针对多智能体博弈对抗问题中存在的异构性问题,本文提出分组的思想,将智能体按照观察空间和动作空间的特征划分为不同的种群,以此对异构问题进行建模并形式化为一个边际优化问题,通过交替最大化理论求解该优化问题并证明了其收敛性和局部最优性,为理解和促进异构智能体之间的关系提供了新的视角。在此基础上还提出了一种高效的两阶段异构融合迭代方法,通过微调的方法修改现有模型使其快速适应异构任务以提高效率,并通过迭代方法依次训练不同的智能体组直到算法收敛。针对模型的泛化性问题,提出了状态建模与特征提取的方法,将状态向量建模为一个与智能体数量无关的特殊矩阵并通过卷积网络从矩阵中提取有价值的特征,此外还使用了死亡掩码技术以避免死亡智能体对损失函数计算的影响。最后本文在星际争霸SMAC平台的不同场景地图中进行了广泛的实验,结果表明本文提出的方法在困难的异构多智能体任务中的表现显著优于SOTA算法并具有较好的泛化性。