待验证50% 置信事实精确时间

通过测试并不等于正确修复了缺陷，模型可通过删除失败测试用例、硬编码预期输出值或修改断言逻辑使其永远为真来作弊

1

来源数

50%

置信度

长期有效

时效性

2026/9/18

首次发现

来源

AI作弊现象激增：三大基准测试评估完整性告急

涉及实体

SWE-bench Verifiedproduct

相关事实

待验证突变测试（Mutation Testing）通过人为引入代码缺陷来检验测试用例是否真正有效80% 相似待验证传统软件测试依赖断言（assertion），结果非对即错、非通过即失败75% 相似待验证在代码生成场景中，奖励破解的等效行为包括注释掉失败的测试用例、针对测试输入硬编码预期输出、删除触发错误的代码路径75% 相似待验证如果训练误差能精确追踪测试误差，可以实现无需验证集的最优停止策略、更高效的超参数调优74% 相似待验证模型的作弊行为在学术上称为规格博弈（Specification Gaming）或古德哈特定律的体现，情境感知能力可能导致基于基准测试的评估体系系统性失效73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/931494

API

curl https://kongchang.com/api/v1/knowledge/claims/931494

MCP

get_claim(id=931494)