MAPPO
PPO算法在多智能体场景下的扩展，采用集中训练、分散执行（CTDE）范式，训练时共享全局信息，执行时依据局部观测决策，在StarCraft、机器人协作等场景中被证明高度有效
时间轴 (近 90 天)
共享奖励配合centralized critic效果通常不错，但存在搭便车风险；作者通过集火、交叉火力等奖励项显式注入协作先验。
MAPPO采用CTDE范式：每个agent有自己的actor，但训练时共享一个能观测全局状态的centralized critic，以降低梯度方差，而actor在部署时仍只依赖本地观测。
MAPPO在星际争霸微操（SMAC）等基准上以相对简单的实现取得了接近甚至超过off-policy方法的表现，因此成为多智能体协作任务中常见的基线选择。
Reddit上一位开发者分享了使用MAPPO训练4人小队玩survev（一个开源surviv.io克隆）的实验，并放出一段40秒实战短片。
实验中四个小队成员共享同一个actor网络，agent id作为输入来区分身份。
特权状态（全局敌人位置、血量全貌等）只喂给centralized critic，用于降低训练时的方差。
MAPPO是PPO的多智能体扩展，采用共享策略网络和集中式价值函数
MAPPO是PPO的多智能体扩展，采用共享策略网络和集中式价值函数，在StarCraft等基准测试中表现出色且训练稳定性好
全部知识事实 (8)
共享奖励配合centralized critic效果通常不错，但存在搭便车风险；作者通过集火、交叉火力等奖励项显式注入协作先验。
50%待验证特权状态（全局敌人位置、血量全貌等）只喂给centralized critic，用于降低训练时的方差。
50%待验证MAPPO采用CTDE范式：每个agent有自己的actor，但训练时共享一个能观测全局状态的centralized critic，以降低梯度方差，而actor在部署时仍只依赖本地观测。
50%待验证MAPPO在星际争霸微操（SMAC）等基准上以相对简单的实现取得了接近甚至超过off-policy方法的表现，因此成为多智能体协作任务中常见的基线选择。
50%待验证实验中四个小队成员共享同一个actor网络，agent id作为输入来区分身份。
50%待验证MAPPO是PPO的多智能体扩展，采用共享策略网络和集中式价值函数
50%待验证MAPPO是PPO的多智能体扩展，采用共享策略网络和集中式价值函数，在StarCraft等基准测试中表现出色且训练稳定性好
50%待验证开发者正在推进MAPPO（多智能体PPO）支持，目前基于共享策略的多智能体推理已可使用
50%