待验证50% 置信事实精确时间

AI 基准测试普遍面临污染问题，模型训练数据可能包含测试题目导致分数虚高，单一基准横向比较价值有限

1

来源数

50%

置信度

长期有效

时效性

2026/7/21

首次发现

来源

GPT-5.6 Sol深度拆解：Ultra模式、跑分作弊与定价全解析

相关事实

待验证训练集污染是当前AI基准评测领域的核心争议，模型可能通过记忆而非推理答题导致结果虚高81% 相似待验证AI红队测试面临涌现能力的特殊挑战，模型在特定提示词组合下可能展现训练时未被预期的能力，使穷举式测试几乎不可能实现77% 相似待验证AI基准测试存在训练数据污染、过度优化特定指标（Goodhart定律效应）以及无法捕捉真实工作场景复杂性等系统性局限76% 相似待验证基准过拟合和数据污染是AI评测领域的核心争议，模型可能通过记忆而非真正理解获得高分76% 相似待验证AI执行测试用例的最大软肋是不确定性，同一条用例有时跑通有时跑不了75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/580895

API

curl https://kongchang.com/api/v1/knowledge/claims/580895

MCP

get_claim(id=580895)