[控场AI]
概念NLL / Negative Log-Likelihood

负对数似然

语言模型预训练和评估中的基础损失度量,为模型对正确答案预测概率的负对数,NLL越低表示模型预测越自信准确

核心事实

时间轴 (近 90 天)

11月6日

负对数似然(NLL)指模型对给定文本中每个 token 分配概率的负对数平均值,数值越低表示模型越认为该文本合理。

待验证50%
11月6日

Circe 将生成 token 的平均负对数似然转换为有界的似然置信度(LC)分数,有界化处理让该信号在与其他分数融合时更加稳定。

待验证50%
11月6日

困惑度是 NLL 的指数形式(perplexity = exp(NLL)),可理解为模型在预测下一个 token 时的平均不确定性程度。

待验证50%
11月3日

负对数似然同时惩罚错误预测和过度自信,对校准尤为敏感。

待验证50%
10月28日

变异系数(标准差除以均值)是一种无量纲的归一化度量,能消除不同条目之间NLL绝对水平差异的影响。

待验证50%
10月1日

模型自生成的反馈可能产生误导性的伪洞见,验证器质量会影响反馈有效性,是该方法的开放问题

已验证75%
9月11日

在高斯输出分布假设下,最小化负对数似然(NLL)与最小化均方误差(MSE)在数学上完全等价

待验证50%

全部知识事实 (7)

来源文章