Process Reward Model
一种强化学习中的奖励建模方法，对推理过程的每个步骤进行评分奖励，而非仅对最终结果评分，用于提升大语言模型的推理能力
核心事实
时间轴 (近 90 天)
PRM面临步骤级标注成本高昂、奖励模型可能被钻空子、自由文本推理步骤边界模糊导致评分标准难以统一等挑战。
过程奖励模型（Process Reward Model, PRM）将奖励信号逐步作用于每个推理环节，可缓解传统 RLHF 仅在最终答案处给出奖励所导致的奖励黑客（reward hacking）隐患。
OpenAI 的新方法将 CoT 从提示层下沉到训练与运行机制层：模型内部生成多条候选推理路径，通过自我一致性检验或过程奖励模型筛选，再输出最终答案。
学界应对基准污染的方向包括动态生成测试题、引入过程审查（Process Reward Model）、在沙箱隔离环境中运行评测
自我验证能力在技术层面通常通过自我反思（self-reflection）或过程奖励模型（Process Reward Model, PRM）等机制实现
实验表明PRM训练的模型在MATH基准上的准确率显著优于结果奖励模型（ORM）
OpenAI在2023年发表的PRM800K论文展示了过程奖励模型（Process Reward Model）的潜力
OpenAI在2023年论文《Let's Verify Step by Step》中表明过程监督(PRM)在数学推理任务中显著优于结果监督(ORM)
OpenAI 在 2023 年发表研究表明，过程奖励模型相比结果监督能显著提升数学推理的可靠性
全部知识事实 (13)
OpenAI在2023年发表论文"Let's Verify Step by Step"系统性地证明了过程奖励模型（PRM）在数学推理任务中的优越性
90%已验证过程奖励模型（PRM）转向对推理过程而非最终答案进行评估，在数学推理领域已展现显著优势
80%已验证o 系列模型通过 Process Reward Model 对中间推理步骤逐一评分，而非仅依赖最终结果正确性
75%待验证训练SWE-bench智能体的先进方法包括拒绝采样（Rejection Sampling）、DPO（Direct Preference Optimization）以及过程奖励模型（Process Reward Model）
85%待验证OpenAI在2023年论文《Let's Verify Step by Step》中表明过程监督(PRM)在数学推理任务中显著优于结果监督(ORM)
70%待验证OpenAI 在 2023 年发表研究表明，过程奖励模型相比结果监督能显著提升数学推理的可靠性
60%待验证PRM面临步骤级标注成本高昂、奖励模型可能被钻空子、自由文本推理步骤边界模糊导致评分标准难以统一等挑战。
50%待验证OpenAI 的新方法将 CoT 从提示层下沉到训练与运行机制层：模型内部生成多条候选推理路径，通过自我一致性检验或过程奖励模型筛选，再输出最终答案。
50%待验证过程奖励模型（Process Reward Model, PRM）将奖励信号逐步作用于每个推理环节，可缓解传统 RLHF 仅在最终答案处给出奖励所导致的奖励黑客（reward hacking）隐患。
50%待验证学界应对基准污染的方向包括动态生成测试题、引入过程审查（Process Reward Model）、在沙箱隔离环境中运行评测
50%待验证自我验证能力在技术层面通常通过自我反思（self-reflection）或过程奖励模型（Process Reward Model, PRM）等机制实现
50%待验证实验表明PRM训练的模型在MATH基准上的准确率显著优于结果奖励模型（ORM）
50%待验证OpenAI在2023年发表的PRM800K论文展示了过程奖励模型（Process Reward Model）的潜力
50%