待验证50% 置信基准精确时间

代码大语言模型采用HumanEval、MBPP等可执行基准评估，即直接运行生成代码并检验输出是否正确

1

来源数

50%

置信度

长期有效

时效性

2026/7/6

首次发现

来源

惠普携手OpenAI达成Frontier战略合作，三大方向全面落地AI

rss2026/6/28

相关事实

待验证Codex模型的评估通常使用HumanEval和MBPP等编码基准测试79% 相似待验证传统代码评测基准（如HumanEval、MBPP）主要测试模型在孤立函数级别的生成准确率79% 相似待验证HumanEval 和 MBPP 主要衡量模型代码生成能力，而代码审查是本质不同的任务，业界目前缺乏标准化的代码审查基准测试78% 相似已验证评估编程大模型的主流基准包括HumanEval、MBPP、SWE-bench和LiveCodeBench78% 相似待验证HumanEval测试代码生成能力，要求模型根据函数签名和文档字符串生成正确的Python代码77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/112609

API

curl https://kongchang.com/api/v1/knowledge/claims/112609

MCP

get_claim(id=112609)