[控场AI]
概念Calibrated Probability / Calibration / 模型校准

校准概率

概率论与机器学习中的质量指标,指模型输出的置信度概率与实际正确率高度吻合,良好校准的模型其预测概率可直接用作风险概率进行阈值决策

时间轴 (近 90 天)

10月27日

一个诚实的 0.8 概率比一个虚高的 0.99 更有用。

待验证50%
10月16日

校准指模型声称80%把握时,长期看其中约80%是对的;未校准的分数只是相对大小,不能当阈值使用。

待验证50%
10月16日

d1-ultra 官方强调的核心能力是校准概率(calibrated probabilities),即模型输出概率应与实际发生频率吻合。

待验证50%
10月16日

校准概率是统计学和机器学习的基础概念,常用衡量指标包括可靠性图(reliability diagram)和期望校准误差(ECE),常用后处理校准方法包括 Platt scaling、Isotonic regression 或 temperature scaling。

待验证50%
10月6日

Jev的每个输出都附带校准概率,当Jev给出0.8的概率时意味着它在该类判断上约有80%的正确率

待验证50%
9月21日

校准概率可让工程师设定阈值实现自动转人工审核,例如置信度低于60%时转人工复核

待验证50%
8月28日

精确数值计算是符号操作过程,需要遵循确定性规则,与基于统计概率的token预测机制存在根本性矛盾

待验证60%

全部知识事实 (7)

来源文章