logprob
语言模型对每个候选token输出的原始概率取自然对数后的值，反映模型生成过程中的真实概率分布，可用于统计置信度估计。
时间轴 (近 90 天)
对实践者而言，只报告 logprob 下降不足以支撑 SAE 特征有效抑制 PII 的结论，至少应加入方向匹配的随机对照与 rank-aware 指标。
一项新研究直接挑战了仅用 logprob 下降评估 SAE 干预效果的做法，指出 logprob 下降可能只是扰动幅度带来的假象，而非真正切断了 PII 泄露的因果路径。
随机方向控制的干预效果优于精心挑选的 SAE 特征时，说明 logprob 的下降很可能来自扰动幅度，而非特征本身的语义作用。
logprob 下降本身无法区分特征特异性抑制与幅度伪影——只要激活扰动足够大，方向是否对准目标特征并不重要。
在只看 logprob 时，17 个案例（47%）看起来成功抑制了 PII；但换成多指标框架后，只有 1 个案例（2.8%）通过。
实践中可对答案中各token的logprob取平均或几何平均得到序列级置信度，也可计算答案的困惑度（perplexity）作为整体确定性度量。
logprob是对数概率，token概率为0.9时logprob约为-0.105，概率为0.01时约为-4.605，数值越接近0表示模型越有把握。
logprob衡量的是生成该token有多顺，并不等同于该事实有多正确，模型完全可能流畅而高概率地生成一个错误陈述，因此它仍是相对信号而非绝对保证。
logprob 阈值需要针对具体模型和任务分布进行校准，直接套用固定阈值往往效果不佳。
LLM 的 logprob 可以取回答序列的平均值作为整体置信度的代理指标，自洽性采样通过多次采样观察答案一致性来评估置信度。
还有 3 条时间轴事件
全部知识事实 (13)
对实践者而言，只报告 logprob 下降不足以支撑 SAE 特征有效抑制 PII 的结论，至少应加入方向匹配的随机对照与 rank-aware 指标。
50%待验证一项新研究直接挑战了仅用 logprob 下降评估 SAE 干预效果的做法，指出 logprob 下降可能只是扰动幅度带来的假象，而非真正切断了 PII 泄露的因果路径。
50%待验证随机方向控制的干预效果优于精心挑选的 SAE 特征时，说明 logprob 的下降很可能来自扰动幅度，而非特征本身的语义作用。
50%待验证logprob 下降本身无法区分特征特异性抑制与幅度伪影——只要激活扰动足够大，方向是否对准目标特征并不重要。
50%待验证在只看 logprob 时，17 个案例（47%）看起来成功抑制了 PII；但换成多指标框架后，只有 1 个案例（2.8%）通过。
50%待验证实践中可对答案中各token的logprob取平均或几何平均得到序列级置信度，也可计算答案的困惑度（perplexity）作为整体确定性度量。
50%待验证logprob是对数概率，token概率为0.9时logprob约为-0.105，概率为0.01时约为-4.605，数值越接近0表示模型越有把握。
50%待验证logprob衡量的是生成该token有多顺，并不等同于该事实有多正确，模型完全可能流畅而高概率地生成一个错误陈述，因此它仍是相对信号而非绝对保证。
50%待验证logprob 阈值需要针对具体模型和任务分布进行校准，直接套用固定阈值往往效果不佳。
50%待验证LLM 的 logprob 可以取回答序列的平均值作为整体置信度的代理指标，自洽性采样通过多次采样观察答案一致性来评估置信度。
50%待验证大语言模型的置信度信号可从输出概率分布中提取，例如对候选token的logprob取平均或计算熵值。
50%待验证在大模型RL训练中，训练框架计算的logprob与推理框架在rollout阶段计算的logprob往往对不上，会在GRPO、PPO等算法的重要性采样权重中被放大，导致训练信号失真甚至训练崩溃
50%待验证logprob不匹配是许多RL训练不稳定、难以复现的根本原因之一，实现逐位对齐后训练的确定性和可复现性大幅提升
50%