温度缩放
温度缩放是一种神经网络后校准技术,通过在验证集上学习一个温度参数对模型输出的logits进行缩放,从而改善概率估计的校准性,无需重新训练模型
核心事实
时间轴 (近 90 天)
路由场景通常依赖概率分数做硬阈值决策,但神经网络 softmax 输出常存在校准不良问题,实践中需使用温度缩放、直方图分箱等方法进行后校准并评估 ECE。
研究表明,简单的校准技术能使自动硅藻识别更加实用和稳健。
采用后验温度缩放校准,最优温度参数T=2.12。
新近偏好指模型在训练末期反复接触最新任务数据,导致决策边界和输出置信度向近期任务倾斜,使基于阈值的 OOD 判别失效,且无法靠简单的温度缩放或后处理校正。
校准与判别力是两个独立指标:判别力衡量模型把正例排在负例之前的能力(如 ROC-AUC),校准衡量模型输出概率与真实频率是否吻合;常用校准度量包括期望校准误差(ECE)与可靠性图,修正手段有 Platt 缩放、等渗回归与温度缩放。
系统提供的校准工具链包括期望校准误差(ECE)、Brier分数和温度缩放三种方法。
Largha-150M-v1 出货的置信度列 ECE 为 0.2519,内置重新校准列(温度缩放)将其降到 0.0168。
基于置信度阈值 τ 的升级门必须先用温度缩放重新校准,否则阈值失效,因为出货置信度列的 ECE 为 0.2519。
概率校准的常见方法包括温度缩放(temperature scaling)、Platt scaling和等渗回归(isotonic regression),需要在一批带标注的真实数据上拟合校准参数。
温度缩放通过在softmax之前将logit值除以可学习的标量参数T来校准模型,T大于1软化概率分布,T小于1使分布更尖锐,无需重新训练主模型
还有 6 条时间轴事件
全部知识事实 (18)
校准后的置信度意味着当系统给出 0.9 的分数时,其正确概率应接近 90%
75%已验证温度缩放(temperature scaling)是一种校准方法,试图将logits校准为更可靠的概率估计
75%待验证实践中常用温度缩放、Platt scaling等后处理方法对置信度进行重新校准
70%待验证路由场景通常依赖概率分数做硬阈值决策,但神经网络 softmax 输出常存在校准不良问题,实践中需使用温度缩放、直方图分箱等方法进行后校准并评估 ECE。
50%待验证研究表明,简单的校准技术能使自动硅藻识别更加实用和稳健。
50%待验证采用后验温度缩放校准,最优温度参数T=2.12。
50%待验证新近偏好指模型在训练末期反复接触最新任务数据,导致决策边界和输出置信度向近期任务倾斜,使基于阈值的 OOD 判别失效,且无法靠简单的温度缩放或后处理校正。
50%待验证校准与判别力是两个独立指标:判别力衡量模型把正例排在负例之前的能力(如 ROC-AUC),校准衡量模型输出概率与真实频率是否吻合;常用校准度量包括期望校准误差(ECE)与可靠性图,修正手段有 Platt 缩放、等渗回归与温度缩放。
50%待验证系统提供的校准工具链包括期望校准误差(ECE)、Brier分数和温度缩放三种方法。
50%待验证Largha-150M-v1 出货的置信度列 ECE 为 0.2519,内置重新校准列(温度缩放)将其降到 0.0168。
50%待验证基于置信度阈值 τ 的升级门必须先用温度缩放重新校准,否则阈值失效,因为出货置信度列的 ECE 为 0.2519。
50%待验证概率校准的常见方法包括温度缩放(temperature scaling)、Platt scaling和等渗回归(isotonic regression),需要在一批带标注的真实数据上拟合校准参数。
50%待验证温度缩放通过在softmax之前将logit值除以可学习的标量参数T来校准模型,T大于1软化概率分布,T小于1使分布更尖锐,无需重新训练主模型
50%待验证置信度校准的工程缓解手段包括温度缩放对logprobs后校准、引入独立验证模型打分、或通过多次采样统计结果一致性
50%待验证改善校准的技术手段包括温度缩放和等频校准等后处理方法
50%待验证解决模型校准不良的技术手段包括温度缩放、Platt Scaling等后处理校准方法,以及贝叶斯神经网络、MC Dropout等不确定性估计技术
50%待验证多数LLM的自报置信度存在过度自信问题,使用前需进行温度缩放等校准处理
50%待验证Softmax输出的概率值并不等同于真实的贝叶斯后验概率,而是被过度优化以拉开类别间距,导致预测概率系统性偏高
50%