多智能体强化学习
一种机器学习范式，在训练环境中同时部署多个智能体，通过协作、竞争或分工完成任务，并以任务成败作为奖励信号优化模型策略。
核心事实
时间轴 (近 90 天)
多智能体强化学习（MARL）在协作任务中面临奖励非加性带来的优化难题。
多智能体强化学习还存在信用分配问题：团队获得奖励时，难以判断哪个代理的贡献最大。
多智能体强化学习在星际争霸和Dota 2等游戏环境中取得成功，但这些成功往往依赖于精心设计的奖励函数和受限的动作空间。
目前两个智能体的协作仍依赖分阶段训练，而非端到端联合优化。
两个智能体无法同时从零训练，因为塔臂在助推器从未出现时没有可学习信号，助推器在塔臂从不闭合时也得不到捕获奖励。
集中式评论家是多智能体强化学习中的一种训练架构，在训练阶段可以访问全局状态，缓解非平稳性和信用分配问题。
在MARL中，通常将每个智能体视为节点，将可观测的交互关系视为边，用GNN在每一时间步聚合邻居信息以生成各智能体的策略输入。
马尔可夫博弈（Markov Game）是MARL的标准形式化框架，通常用元组 (N, S, {A_i}, P, {R_i}, γ) 描述。
作者刻意在生产路径中回避完整的多智能体强化学习，因为涌现式协调策略极难审计。
DeepSeek官方披露，V4.1 Flash 1017约35%的性能提升并无算法层面的创新，纯粹依靠多智能体环境强化学习实现，优化重心放在训练环境与智能体协作而非模型结构本身。
还有 12 条时间轴事件
全部知识事实 (20)
多智能体强化学习（MARL）存在非平稳性问题：每个智能体的最优策略依赖其他智能体持续更新的策略，导致环境转移分布始终变化
65%待验证多智能体强化学习（MARL）在协作任务中面临奖励非加性带来的优化难题。
50%待验证多智能体强化学习还存在信用分配问题：团队获得奖励时，难以判断哪个代理的贡献最大。
50%待验证多智能体强化学习在星际争霸和Dota 2等游戏环境中取得成功，但这些成功往往依赖于精心设计的奖励函数和受限的动作空间。
50%待验证两个智能体无法同时从零训练，因为塔臂在助推器从未出现时没有可学习信号，助推器在塔臂从不闭合时也得不到捕获奖励。
50%待验证目前两个智能体的协作仍依赖分阶段训练，而非端到端联合优化。
50%待验证集中式评论家是多智能体强化学习中的一种训练架构，在训练阶段可以访问全局状态，缓解非平稳性和信用分配问题。
50%待验证马尔可夫博弈（Markov Game）是MARL的标准形式化框架，通常用元组 (N, S, {A_i}, P, {R_i}, γ) 描述。
50%待验证在MARL中，通常将每个智能体视为节点，将可观测的交互关系视为边，用GNN在每一时间步聚合邻居信息以生成各智能体的策略输入。
50%待验证作者刻意在生产路径中回避完整的多智能体强化学习，因为涌现式协调策略极难审计。
50%待验证DeepSeek官方披露，V4.1 Flash 1017约35%的性能提升并无算法层面的创新，纯粹依靠多智能体环境强化学习实现，优化重心放在训练环境与智能体协作而非模型结构本身。
50%待验证涌现通信是多智能体强化学习中的一个研究分支，指智能体在通信通道受限时自发演化出内部一致的符号系统。
50%待验证信息隔离设计（让actor只看到真实客户端能看到的东西）是让研究成果具备实际部署可能的必要条件；很多多智能体研究止步于仿真，正是因为agent依赖了现实里拿不到的信息。
50%待验证自动驾驶车队协同和多机器人编队是多智能体强化学习最具代表性的落地场景，二者对非平稳性的容忍度极低
50%待验证许多在单智能体任务上表现优异的算法放到多智能体协作或竞争场景中会出现训练不稳定、策略震荡甚至无法收敛
50%待验证该研究采用多智能体强化学习（MARL）作为训练框架
50%待验证多智能体强化学习与单智能体强化学习的核心区别在于环境中存在多个同时学习的智能体，使系统成为非平稳问题
50%待验证在多智能体强化学习中，当对手持续改进时训练信号会自动保持在恰好有挑战性的难度区间，避免固定数据集的刷题现象
50%待验证在多智能体环境中，当集体的成功成为奖励信号时，个体的'失败'反而可能是最优解
50%待验证有观察者在数周前提出，多智能体强化学习是'我们做过的最可怕的事情'
50%