温度
控制大语言模型输出随机性的超参数，值越低输出越确定保守，值越高输出越多样但可能偏离事实
时间轴 (近 90 天)
重复退化通常与采样参数设置有关，包括温度过低、top-p或重复惩罚设置不当。
温度是一种涌现属性，无法还原为单个分子的性质。
温度是给 logits 除以一个系数后再做 softmax，改变整个分布的陡峭程度；top-p 是先按概率从高到低累加，截断到累积概率达到 p 为止，把长尾之外的低概率 token 从候选集中剔除，再在剩余集合内重新归一化并采样。
论文证明在多样性预算随样本数k自然扩展的规则下，最优温度随k单调递增。
正向的温度缩放不会把第一名候选token变成第二名，也不会判断事实真假，温度降到0只会让错误答案以更高确定性反复出现
温度是控制语言模型输出随机性的超参数，作用于logits，将logit除以温度T再经softmax归一化；T<1时分布更尖锐输出更确定，T>1时分布更平坦输出更随机
温度衡量的是单个粒子的平均动能，而热量取决于有多少粒子真正把能量传递给物体
温度参数较低让模型输出更确定性适合结构化任务，较高温度带来更多创意适合头脑风暴类场景
许多产品为保证回答流畅性和专业感会将温度设置在较低区间，这强化了收敛效应
全部知识事实 (9)
重复退化通常与采样参数设置有关，包括温度过低、top-p或重复惩罚设置不当。
50%待验证温度是一种涌现属性，无法还原为单个分子的性质。
50%待验证温度是给 logits 除以一个系数后再做 softmax，改变整个分布的陡峭程度；top-p 是先按概率从高到低累加，截断到累积概率达到 p 为止，把长尾之外的低概率 token 从候选集中剔除，再在剩余集合内重新归一化并采样。
50%待验证论文证明在多样性预算随样本数k自然扩展的规则下，最优温度随k单调递增。
50%待验证正向的温度缩放不会把第一名候选token变成第二名，也不会判断事实真假，温度降到0只会让错误答案以更高确定性反复出现
50%待验证温度是控制语言模型输出随机性的超参数，作用于logits，将logit除以温度T再经softmax归一化；T<1时分布更尖锐输出更确定，T>1时分布更平坦输出更随机
50%待验证温度衡量的是单个粒子的平均动能，而热量取决于有多少粒子真正把能量传递给物体
50%待验证温度参数较低让模型输出更确定性适合结构化任务，较高温度带来更多创意适合头脑风暴类场景
50%待验证许多产品为保证回答流畅性和专业感会将温度设置在较低区间，这强化了收敛效应
50%