待验证50% 置信概念精确时间

认知谦逊测试（epistemic calibration）考察模型是否能准确感知自身知识边界，而传统 LLM 基准如 MMLU、HumanEval 通常以准确率为唯一指标

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

LLM能当数据侦探吗？诚实比贵更重要的基准测试

涉及实体

epistemic calibrationconcept MMLUconcept HumanEvalconcept

相关事实

待验证现有 LLM 辅助筛选评估方法大多依赖准确率等传统指标，在高度类别不平衡的系统综述数据集上可能产生误导68% 相似待验证可让熟悉本人的朋友做图灵测试式盲评来评估微调输出是否像本人，并据此反向优化数据集66% 相似待验证研究显示LLM在信息覆盖率上领先，但在推断克制性和安全性刻画上不足，因此AI问诊工具需要配套常规质量评估机制来监测风险行为65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/999565

API

curl https://kongchang.com/api/v1/knowledge/claims/999565

MCP

get_claim(id=999565)