待验证85% 置信事实时间未知

Codex模型的评估通常使用HumanEval和MBPP等编码基准测试

1

来源数

85%

置信度

长期有效

时效性

2026/6/2

首次发现

来源

用OpenAI API构建智能编程助手实战指南

bilibiliKurashizu

涉及实体

Codexmodel HumanEvalconcept MBPPconcept

相关事实

待验证代码大语言模型采用HumanEval、MBPP等可执行基准评估，即直接运行生成代码并检验输出是否正确79% 相似待验证传统代码评测基准（如HumanEval、MBPP）主要测试模型在孤立函数级别的生成准确率77% 相似待验证HumanEval、MBPP、SWE-bench是AI编程评测领域的行业标准基准测试76% 相似待验证HumanEval、MBPP、SWE-bench是专门针对代码生成的标准评测集74% 相似待验证HumanEval 和 MBPP 主要衡量模型代码生成能力，而代码审查是本质不同的任务，业界目前缺乏标准化的代码审查基准测试74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/37190

API

curl https://kongchang.com/api/v1/knowledge/claims/37190

MCP

get_claim(id=37190)