[控场AI]
概念Temperature Scaling

温度缩放

温度缩放是一种神经网络后校准技术,通过在验证集上学习一个温度参数对模型输出的logits进行缩放,从而改善概率估计的校准性,无需重新训练模型

核心事实

时间轴 (近 90 天)

10月27日

路由场景通常依赖概率分数做硬阈值决策,但神经网络 softmax 输出常存在校准不良问题,实践中需使用温度缩放、直方图分箱等方法进行后校准并评估 ECE。

待验证50%
10月20日

研究表明,简单的校准技术能使自动硅藻识别更加实用和稳健。

待验证50%
10月20日

采用后验温度缩放校准,最优温度参数T=2.12。

待验证50%
10月20日

新近偏好指模型在训练末期反复接触最新任务数据,导致决策边界和输出置信度向近期任务倾斜,使基于阈值的 OOD 判别失效,且无法靠简单的温度缩放或后处理校正。

待验证50%
10月16日

校准与判别力是两个独立指标:判别力衡量模型把正例排在负例之前的能力(如 ROC-AUC),校准衡量模型输出概率与真实频率是否吻合;常用校准度量包括期望校准误差(ECE)与可靠性图,修正手段有 Platt 缩放、等渗回归与温度缩放。

待验证50%
10月14日

系统提供的校准工具链包括期望校准误差(ECE)、Brier分数和温度缩放三种方法。

待验证50%
10月13日

Largha-150M-v1 出货的置信度列 ECE 为 0.2519,内置重新校准列(温度缩放)将其降到 0.0168。

待验证50%
10月13日

基于置信度阈值 τ 的升级门必须先用温度缩放重新校准,否则阈值失效,因为出货置信度列的 ECE 为 0.2519。

待验证50%
10月12日

概率校准的常见方法包括温度缩放(temperature scaling)、Platt scaling和等渗回归(isotonic regression),需要在一批带标注的真实数据上拟合校准参数。

待验证50%
9月29日

温度缩放通过在softmax之前将logit值除以可学习的标量参数T来校准模型,T大于1软化概率分布,T小于1使分布更尖锐,无需重新训练主模型

待验证50%

还有 6 条时间轴事件

全部知识事实 (18)

已验证

校准后的置信度意味着当系统给出 0.9 的分数时,其正确概率应接近 90%

75%
已验证

温度缩放(temperature scaling)是一种校准方法,试图将logits校准为更可靠的概率估计

75%
待验证

实践中常用温度缩放、Platt scaling等后处理方法对置信度进行重新校准

70%
待验证

路由场景通常依赖概率分数做硬阈值决策,但神经网络 softmax 输出常存在校准不良问题,实践中需使用温度缩放、直方图分箱等方法进行后校准并评估 ECE。

50%
待验证

研究表明,简单的校准技术能使自动硅藻识别更加实用和稳健。

50%
待验证

采用后验温度缩放校准,最优温度参数T=2.12。

50%
待验证

新近偏好指模型在训练末期反复接触最新任务数据,导致决策边界和输出置信度向近期任务倾斜,使基于阈值的 OOD 判别失效,且无法靠简单的温度缩放或后处理校正。

50%
待验证

校准与判别力是两个独立指标:判别力衡量模型把正例排在负例之前的能力(如 ROC-AUC),校准衡量模型输出概率与真实频率是否吻合;常用校准度量包括期望校准误差(ECE)与可靠性图,修正手段有 Platt 缩放、等渗回归与温度缩放。

50%
待验证

系统提供的校准工具链包括期望校准误差(ECE)、Brier分数和温度缩放三种方法。

50%
待验证

Largha-150M-v1 出货的置信度列 ECE 为 0.2519,内置重新校准列(温度缩放)将其降到 0.0168。

50%
待验证

基于置信度阈值 τ 的升级门必须先用温度缩放重新校准,否则阈值失效,因为出货置信度列的 ECE 为 0.2519。

50%
待验证

概率校准的常见方法包括温度缩放(temperature scaling)、Platt scaling和等渗回归(isotonic regression),需要在一批带标注的真实数据上拟合校准参数。

50%
待验证

温度缩放通过在softmax之前将logit值除以可学习的标量参数T来校准模型,T大于1软化概率分布,T小于1使分布更尖锐,无需重新训练主模型

50%
待验证

置信度校准的工程缓解手段包括温度缩放对logprobs后校准、引入独立验证模型打分、或通过多次采样统计结果一致性

50%
待验证

改善校准的技术手段包括温度缩放和等频校准等后处理方法

50%
待验证

解决模型校准不良的技术手段包括温度缩放、Platt Scaling等后处理校准方法,以及贝叶斯神经网络、MC Dropout等不确定性估计技术

50%
待验证

多数LLM的自报置信度存在过度自信问题,使用前需进行温度缩放等校准处理

50%
待验证

Softmax输出的概率值并不等同于真实的贝叶斯后验概率,而是被过度优化以拉开类别间距,导致预测概率系统性偏高

50%

来源文章