概念PRM / Process Reward Model
过程奖励模型
对推理链中每一个中间步骤的质量单独给予奖励信号的模型，是RLHF的进化变体，将奖励信号从结果细化到过程中每一步，对数学、编程等需要严密逻辑链的任务效果尤为突出
时间轴 (近 90 天)
10月30日
DeepSeek R1把过程奖励模型列入“不成功的尝试”，其推理训练只用了基于最终答案的简单规则奖励。
待验证50%
10月30日
传统 PRM 在“一题多解”场景下易将另一条合理路径误判为错误。
待验证50%
8月23日
OpenAI 在 2023 年发表研究表明，过程奖励模型相比结果监督能显著提升数学推理的可靠性
待验证60%