概念overconfidence
过度自信
大模型在开放域问题上表现出的信心高于实际正确率的现象,尤其在训练数据覆盖稀疏领域,流畅语言掩盖知识缺口
时间轴 (近 90 天)
11月2日
对于模型能够回忆出正确值的分子,LLM报告的不确定性更小,表明当依赖记忆时模型会表现出过度自信。
待验证50%
10月18日
在初始合成农场轨迹上,模型过度自信:声称“95%确信电池电量高于30%”时,实际命中率只有78%。
待验证50%
大模型在开放域问题上表现出的信心高于实际正确率的现象,尤其在训练数据覆盖稀疏领域,流畅语言掩盖知识缺口
对于模型能够回忆出正确值的分子,LLM报告的不确定性更小,表明当依赖记忆时模型会表现出过度自信。
在初始合成农场轨迹上,模型过度自信:声称“95%确信电池电量高于30%”时,实际命中率只有78%。