基准
EvalPlus
对 HumanEval 等代码生成基准进行增强评测的框架,通过额外测试用例提高评估严格性。
时间轴 (近 90 天)
10月23日
HumanEval+ 是 EvalPlus 团队对 HumanEval 的增强版本,扩充了测试用例数量,能更严格地检测代码正确性。
待验证50%
10月14日
whatmodel.sh 数据中 14,436 个结果来自独立评估(ACL Anthology、arXiv、Epoch AI、LMArena、EvalPlus、EleutherAI harness 等),7,677 个来自实验室自报,独立评估占比约 77%。
待验证50%