待验证50% 置信事实精确时间

研究结论是偏见检测成功了，但对模型的排名失败了

1

来源数

50%

置信度

长期有效

时效性

2026/9/16

首次发现

来源

AI偏见审计能测出偏见，却无法给模型排名

涉及实体

偏见审计concept

相关事实

待验证用单一测试案例评估模型性能是一个统计陷阱，即小样本偏差（Small Sample Bias）72% 相似待验证对同一测试用例执行多次调用统计成功比例得到通过率，比二元的通过/失败判断更能反映模型真实表现69% 相似待验证该用户指出这些模型在基准测试中拿到很高分数，却在最简单的任务上频频失败69% 相似待验证在正负样本极度不均衡的场景（如欺诈检测）中，单纯看准确率作为评估指标毫无意义67% 相似待验证在事实性评估任务上模型评判者准确率仍显著低于人类专家，但在风格、连贯性等主观维度已接近人类评审员间一致性水平67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/924825

API

curl https://kongchang.com/api/v1/knowledge/claims/924825

MCP

get_claim(id=924825)