概念Calibration Curve / 可靠性图
校准曲线
以预测概率为横轴、实际发生频率为纵轴的评估图表,理想情况下形成对角线,用于衡量模型概率输出的校准程度
核心事实
时间轴 (近 90 天)
11月2日
校准曲线(Calibration Curve)可用于检验模型自报的置信度是否与实际正确率吻合,一个'过度自信'的模型即使阈值设置合理也会漏放错误答案。
待验证50%
10月19日
模型不确定性表达能力的常用衡量指标包括校准曲线(calibration curve)和ECE(Expected Calibration Error)。
待验证50%
10月17日
Calibration Court的核心机制是在结果揭晓前将每条AI预测写入哈希链账本,并用Brier分数、对数损失和校准曲线进行评分。
待验证50%
10月5日
风险-覆盖曲线以模型自动处理的比例为横轴、该覆盖率下的错误风险为纵轴,曲线下面积越小代表模型在高置信度区间判断越可靠
已验证75%
全部知识事实 (4)
已验证
风险-覆盖曲线以模型自动处理的比例为横轴、该覆盖率下的错误风险为纵轴,曲线下面积越小代表模型在高置信度区间判断越可靠
75%待验证校准曲线(Calibration Curve)可用于检验模型自报的置信度是否与实际正确率吻合,一个'过度自信'的模型即使阈值设置合理也会漏放错误答案。
50%待验证模型不确定性表达能力的常用衡量指标包括校准曲线(calibration curve)和ECE(Expected Calibration Error)。
50%待验证Calibration Court的核心机制是在结果揭晓前将每条AI预测写入哈希链账本,并用Brier分数、对数损失和校准曲线进行评分。
50%