待验证50% 置信事实精确时间
Hinton在原始论文中引入温度参数T来控制概率分布的柔软程度,T越高分布越平滑,类间相似关系暴露越充分,这些类间关系被称为暗知识(Dark Knowledge)
1
来源数
50%
置信度
长期有效
时效性
2026/8/18
首次发现
来源
相关事实
待验证温度参数越高,Softmax输出的概率分布越平坦,输出越富有创意和多样性;温度越低分布越尖锐,输出越确定保守60% 相似已验证LLM的非确定性来源于采样策略,Temperature参数控制输出分布的随机程度,Top-p和Top-k进一步约束候选Token范围57% 相似待验证不确定性估计主要有两条技术路径:利用Token概率(logprobs)和蒙特卡洛采样(对同一输入进行5-20次高温度采样并计算香农熵)57% 相似待验证蒸馏的核心洞察在于神经网络的软标签(类别概率分布)包含比one-hot硬标签更丰富的结构信息56% 相似待验证Temperature 控制采样分布的平坦程度,值越高越倾向选择低概率词汇;Top-p 通过累积概率阈值动态收窄候选词汇集合56% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/766985API
curl https://kongchang.com/api/v1/knowledge/claims/766985MCP
get_claim(id=766985)