校准
概率预测领域的评估指标，指模型给出的置信度与实际发生频率相符的程度，是评价大语言模型预测可靠性的重要维度
核心事实
时间轴 (近 90 天)
未来可能需要结合外部校准方法或开发更好的不确定性量化技术，以提升LLM在科学预测任务中的可靠性。
对于关键业务自动化，校准质量往往比原始准确率更能决定系统能否被信任。
大模型在开放域问题上常表现出过度自信，尤其在训练数据覆盖稀疏的领域。
校准衡量的是模型表达的信心与其实际正确率之间的一致程度。
校准良好意味着声称有80%把握的判断长期约有80%确实正确
校准关注概率数值是否可信，而判别力关注高置信度样本是否比低置信度样本更可能正确；即便校准存在偏差，只要置信度保持排序判别力，就仍能作为分层抽样的辅助变量使用。
校准良好是指模型声称的置信度与实际正确率相匹配。
评分问题的阈值设定通常基于业务成本曲线（如误拦与漏放的代价比）选取最优点，而非简单取中位数；评分结果往往需要校准（calibration），使分数可解释为概率或稳定分位。
人口统计平价、机会均等与预测平价在数学上往往不可同时满足（除非群体间真实违约率相同且模型完美）；强制人口统计平价会扭曲预测概率，损害校准；追求预测平价则可能接受通过率的群体差异。
仅有准确率无法支撑门控阈值，决策模型必须良好校准，使输出的概率值能够反映真实发生率。
还有 40 条时间轴事件
全部知识事实 (20)
幻觉是指模型生成看似合理但实际错误或虚构的内容，是LLM最难根治的技术顽疾
80%已验证一个系统可以整体准确率高但完全没校准，也可以校准良好但判别力低；校准与判别力是两个独立维度。
75%已验证校准意味着模型输出的概率应与现实匹配；神经网络普遍存在过度自信倾向，不应盲目相信模型概率，应使用标注数据验证后再设置阈值。
75%已验证一个准确率略低但置信度校准良好的模型往往比准确率更高却盲目自信的模型更适合投入生产环境
75%已验证校准后的置信度意味着当系统给出 0.9 的分数时，其正确概率应接近 90%
75%已验证模型校准（calibration）在统计学中定义为：若模型声称某答案有70%置信度，则大量此类声明中实际正确的比例应接近70%
75%已验证对齐训练优化的是模型在已知场景下的统计行为，而非建立可形式化验证的安全边界，面对训练分布之外的罕见指令组合或角色扮演框架时可能失效
75%已验证校准置信度（calibrated confidence）指模型输出的置信度数值与真实准确率之间的一致性，校准良好的模型声称80%把握时实际准确率也应接近80%
70%已验证校准度（calibration）指模型给出的预测概率与实际发生频率的一致性，常用量化方式包括 Brier Score 和校准曲线
65%已验证目前主流大语言模型在置信度校准和选择性弃权方面均存在明显缺陷，往往过度自信，且面对超出训练分布的问题倾向于给出流畅但错误的回答
65%已验证当前主流大语言模型普遍存在过度自信问题，部分原因在于训练目标优化的是预测下一个词的流畅度而非输出的实际可靠度
65%已验证当AI给出错误答案时，问题往往出在向量化方式或检索参数上，而非模型本身
65%已验证大语言模型的置信度输出本质上是概率分布的产物，而非对事实真伪的真实判断，可能对错误陈述表达高置信度
65%已验证一个校准良好的模型，其输出的0.8分应当在统计意义上真的对应80%的正确率
65%部分验证模型校准指的是模型输出概率与其实际正确率相匹配的程度；一个校准良好的模型，若对某类问题给出的概率是0.8，则这类问题大约有80%确实答对。
75%待验证未经校准的神经网络通常存在过度自信（overconfidence）问题，在分布外数据上尤为严重
70%待验证大模型普遍存在过度自信的问题，需要通过提示词工程和校准策略来校准置信度
60%待验证校准衡量的是模型表达的信心与其实际正确率之间的一致程度。
50%待验证大模型在开放域问题上常表现出过度自信，尤其在训练数据覆盖稀疏的领域。
50%待验证对于关键业务自动化，校准质量往往比原始准确率更能决定系统能否被信任。
50%