待验证50% 置信基准精确时间
Alpha Codium方法在代码竞赛基准HumanEval和CodeContests上相比直接提示(zero-shot)的正确率有显著提升
1
来源数
50%
置信度
长期有效
时效性
2026/10/7
首次发现
来源
涉及实体
相关事实
待验证一项代码生成研究发现,分阶段提示的准确率比一次性提示高得多68% 相似待验证代码的正确性可通过单元测试获得0/1确定性信号,这种高质量低成本的奖励信号使强化学习在代码场景中效率远超自然语言场景67% 相似待验证基于单元测试执行结果的奖励信号(Execution-based Reward)在提升代码正确率方面效果显著67% 相似待验证Alpha Codium的核心思路是通过测试驱动的迭代流程替代单次提示生成代码,模型先理解问题规格、生成公开与私有测试用例,再反复迭代修正直至通过所有测试66% 相似待验证当前主流基准测试体系如HumanEval、MBPP等代码评估集往往关注平均性能,对分布式的场景特定退化现象敏感度不足65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/986062API
curl https://kongchang.com/api/v1/knowledge/claims/986062MCP
get_claim(id=986062)