[控场AI]
概念温度参数

Temperature

Temperature(温度参数)是机器学习与自然语言处理领域中用于控制模型输出随机性的超参数。在语言模型的文本生成过程中,Temperature通过缩放logits来调整概率分布的平滑程度:值越低,输出越确定、集中于高概率选项;值越高,输出越多样、随机性越强。该参数通常取正实数值,广泛应用于采样策略的调控。

核心事实

时间轴 (近 90 天)

8月26日

温度(Temperature)参数体现创造性与幻觉的权衡:低温度使输出更确定保守,高温度增加随机性和创造性但也增加幻觉风险

待验证50%
8月25日

高temperature加上缺失的repetition penalty容易导致模型陷入重复循环或生成无意义内容

待验证50%
8月24日

水印算法的logit偏置通常在Temperature缩放之后、Top-k/Top-p截断之前施加

待验证50%
5月31日

大语言模型在生成每个token时从概率分布中采样,temperature参数控制随机性的强弱,temperature越高输出越多样,越低则越确定

已验证80%

全部知识事实 (4)

来源文章