CTDE

星际争霸和Dota 2的多智能体AI成功很大程度上依赖于集中训练、分散执行（CTDE）框架和精心设计的奖励塑形。

MAPPO采用CTDE范式：每个agent有自己的actor，但训练时共享一个能观测全局状态的centralized critic，以降低梯度方差，而actor在部署时仍只依赖本地观测。