概念认知谦逊测试 / 认知校准
epistemic calibration
AI评估领域的一个概念,指模型能否准确感知并表达自身的知识边界,即在证据不足时承认不确定性而非给出过度自信的错误答案
时间轴 (近 90 天)
10月11日
认知谦逊测试(epistemic calibration)考察模型是否能准确感知自身知识边界,而传统 LLM 基准如 MMLU、HumanEval 通常以准确率为唯一指标
待验证50%
AI评估领域的一个概念,指模型能否准确感知并表达自身的知识边界,即在证据不足时承认不确定性而非给出过度自信的错误答案
认知谦逊测试(epistemic calibration)考察模型是否能准确感知自身知识边界,而传统 LLM 基准如 MMLU、HumanEval 通常以准确率为唯一指标