[控场AI]
基准ECE / Expected Calibration Error

期望校准误差

衡量AI模型校准质量的量化指标,通过汇总所有置信区间上预测置信度与实际命中率偏差的加权均值计算得出,值越接近0表示校准越好

核心事实

时间轴 (近 90 天)

10月27日

路由场景通常依赖概率分数做硬阈值决策,但神经网络 softmax 输出常存在校准不良问题,实践中需使用温度缩放、直方图分箱等方法进行后校准并评估 ECE。

待验证50%
10月23日

等渗校准(Isotonic)能降低期望校准误差(ECE),但并不总能改善区分度。

待验证50%
10月16日

校准概率是统计学和机器学习的基础概念,常用衡量指标包括可靠性图(reliability diagram)和期望校准误差(ECE),常用后处理校准方法包括 Platt scaling、Isotonic regression 或 temperature scaling。

待验证50%
10月14日

系统提供的校准工具链包括期望校准误差(ECE)、Brier分数和温度缩放三种方法。

待验证50%
10月12日

期望校准误差(ECE)是衡量校准质量最常用的指标,通过将预测按置信度分桶计算置信度均值与实际准确率之差的加权平均得到

已验证80%
9月27日

置信度校准通常通过可靠性图和期望校准误差(ECE)来度量

待验证50%

全部知识事实 (7)

来源文章