待验证50% 置信事实精确时间

语义熵成功恢复了一个可用的置信度信号，弥补了token级熵在SLM上的盲区

1

来源数

50%

置信度

长期有效

时效性

2026/9/21

首次发现

来源

小语言模型知道自己不知道什么吗？语义熵是关键

涉及实体

语义熵concept 小语言模型concept

相关事实

待验证熵方法在SLM中的价值主张并非节省计算，而是智能的算力分配79% 相似待验证token级熵可作为模型自信程度的廉价代理指标，只需读取推理过程中已有的logits即可计算，无需额外标注或训练打分网络72% 相似已验证语义熵方法在技术实现上通过多次采样获得候选回答、使用NLI模型判断语义等价性聚类、最后计算语义类别上的熵值71% 相似待验证语义熵方法不依赖特定模型的内部结构，通过输出层面的语义一致性推断不确定性，泛化能力较强71% 相似待验证交叉熵恢复率通过将SAE重建激活替代原始激活输入到模型后续层比较交叉熵损失变化来计算，衡量SAE是否保留对下游计算重要的信息70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/938053

API

curl https://kongchang.com/api/v1/knowledge/claims/938053

MCP

get_claim(id=938053)