待验证50% 置信权衡取舍精确时间

当一组输出的奖励完全相同（全对或全错）时，GRPO 组内无法计算出有意义的相对优势，梯度为零，这些样本对模型参数更新无贡献

1

来源数

50%

置信度

长期有效

时效性

2026/10/7

首次发现

来源

RISED：多环境智能体训练的评分标准选择与自蒸馏方法

涉及实体

相关事实

已验证GRPO通过对同一问题采样一组输出以组内平均奖励作为基线，消除了对独立critic网络的依赖，将显存需求从PPO的约4倍压缩至约2倍67% 相似待验证对比学习中的推远操作只要求负样本相似度低于正样本，并不要求达到-1的极端值67% 相似待验证若一道难题在采样中全部失败（pass@k约为0），奖励方差为零，梯度信号几乎消失，参数更新量趋近于零66% 相似待验证当成功率极低时几乎所有样本奖励相同，策略梯度方差极大而信噪比极低，导致模型无法获得有效更新方向63% 相似待验证该模型的输出token为零，因为它只返回概率而不生成文本62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/982892

API

curl https://kongchang.com/api/v1/knowledge/claims/982892

MCP

get_claim(id=982892)