奖励预算
一种用于强化学习训练大语言模型的插件式方法，通过为每个提示分配固定总奖励预算来构造优势函数，产生递减回报并缓解策略过早尖锐化。
时间轴 (近 90 天)
奖励预算机制为每个提示分配固定的总奖励预算，并在该预算约束下构造优势函数。
该理论结果是为裁剪实现提供动机，而非建立精确的目标等价性。
在Qwen3-8B和Llama3.2-3B-Instruct两个模型上，奖励预算机制一致地改善了多种RL基线。
在AMC23基准上，奖励预算机制获得了最高+12.50的提升。
在AIME24和AIME25基准上，奖励预算机制分别有+10.00的提升。
这些增益是在不显式保留熵的情况下取得的，直接挑战了“必须维持熵才能避免早熟收敛”的常见假设。
奖励预算通过限制每个提示的总奖励，自然地产生递减回报，使得策略不会因为少数高奖励样本而过度尖锐化。
当前的理论结果主要针对未裁剪的估计器，对于实际使用的裁剪实现，等价性并未严格建立。
实验规模限于两个中等规模的模型，在更大模型和更多样化任务上的泛化能力仍需验证。
全部知识事实 (9)
奖励预算机制为每个提示分配固定的总奖励预算，并在该预算约束下构造优势函数。
50%待验证该理论结果是为裁剪实现提供动机，而非建立精确的目标等价性。
50%待验证在Qwen3-8B和Llama3.2-3B-Instruct两个模型上，奖励预算机制一致地改善了多种RL基线。
50%待验证在AMC23基准上，奖励预算机制获得了最高+12.50的提升。
50%待验证在AIME24和AIME25基准上，奖励预算机制分别有+10.00的提升。
50%待验证这些增益是在不显式保留熵的情况下取得的，直接挑战了“必须维持熵才能避免早熟收敛”的常见假设。
50%待验证奖励预算通过限制每个提示的总奖励，自然地产生递减回报，使得策略不会因为少数高奖励样本而过度尖锐化。
50%待验证当前的理论结果主要针对未裁剪的估计器，对于实际使用的裁剪实现，等价性并未严格建立。
50%待验证实验规模限于两个中等规模的模型，在更大模型和更多样化任务上的泛化能力仍需验证。
50%