待验证60% 置信基准精确时间
在HumanEval、MBPP等标准代码基准测试中，顶尖开源模型已能达到闭源模型85-95%的水平
2
来源数
60%
置信度
中期 (~90 天)
时效性
2026/8/16
首次发现
有效期至：2026/11/14
来源
Freebuff：免费AI编程代理挑战Cursor、Claude Code和Devin
producthuntProductHunt Daily2026/8/14
相关事实
待验证传统代码评测基准（如HumanEval、MBPP）主要测试模型在孤立函数级别的生成准确率72% 相似待验证开源模型在基准测试上的表现已经越来越接近、甚至在某些任务上超过闭源模型71% 相似已验证评估编程大模型的主流基准包括HumanEval、MBPP、SWE-bench和LiveCodeBench71% 相似待验证当前主流基准测试体系如HumanEval、MBPP等代码评估集往往关注平均性能，对分布式的场景特定退化现象敏感度不足69% 相似待验证业界衡量开源与闭源差距时常用的评测基准包括编程能力的HumanEval/SWE-bench、推理能力的MATH和GPQA，以及综合性的MMLU69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/757075API
curl https://kongchang.com/api/v1/knowledge/claims/757075MCP
get_claim(id=757075)