基准
Slop Code Bench
由威斯康星大学Gabe Orlansky实验室创建的AI编程基准测试,通过让模型从零构建项目后持续追加功能,评估模型在长期迭代中是否会导致代码质量退化
时间轴 (近 90 天)
10月17日
在Slop Code Bench基准测试中,某个前沿模型仅取得14.8%的分数。
已过期50%
10月17日
Slop Code Bench基准测试模拟多轮迭代、持续追加功能的真实开发场景,考察代码库长期可维护性。
待验证50%
10月5日
Slop Code Bench由威斯康星大学研究者Gabe Orlansky实验室打造,设计目标是证明模型会随着时间推移让代码库变得更糟
待验证50%
10月5日
Slop Code Bench的做法是先让模型从零构建一个项目,然后不断追加功能,每个挑战包含3到10个检查点
待验证50%
10月5日
在Slop Code Bench测试中,所有模型的失败测试数量都呈上升趋势
待验证50%
10月5日
GPT-5.5 Codex在某次Slop Code Bench测试中仅得约15%,Astra约为16.5%
已过期50%