概念温度参数
Temperature
Temperature(温度参数)是机器学习与自然语言处理领域中用于控制模型输出随机性的超参数。在语言模型的文本生成过程中,Temperature通过缩放logits来调整概率分布的平滑程度:值越低,输出越确定、集中于高概率选项;值越高,输出越多样、随机性越强。该参数通常取正实数值,广泛应用于采样策略的调控。
核心事实
时间轴 (近 90 天)
8月26日
温度(Temperature)参数体现创造性与幻觉的权衡:低温度使输出更确定保守,高温度增加随机性和创造性但也增加幻觉风险
待验证50%
8月25日
高temperature加上缺失的repetition penalty容易导致模型陷入重复循环或生成无意义内容
待验证50%
8月24日
水印算法的logit偏置通常在Temperature缩放之后、Top-k/Top-p截断之前施加
待验证50%
5月31日
大语言模型在生成每个token时从概率分布中采样,temperature参数控制随机性的强弱,temperature越高输出越多样,越低则越确定
已验证80%