Temperature
Temperature(温度参数)是机器学习与自然语言处理领域中用于控制模型输出随机性的超参数。在语言模型的文本生成过程中,Temperature通过缩放logits来调整概率分布的平滑程度:值越低,输出越确定、集中于高概率选项;值越高,输出越多样、随机性越强。该参数通常取正实数值,广泛应用于采样策略的调控。
核心事实
时间轴 (近 90 天)
课程观点认为Top-P对生成高质量文本更有效,且Top-P与Temperature可以叠加使用。
调高Temperature(如1.0)会激活低概率词汇,输出更有创意但可能偏离逻辑;调低温度(如0.3以下)则让高概率Token稳定发挥,结果更可控。
Temperature、Top-K 与 Top-P 是控制文本生成随机性的三个核心采样参数,常见组合是 temperature 0.7~0.8、Top-K 40、Top-P 0.9~0.95。
Eino 的 Temperature、MaxTokens、TopP 等采样参数都是指针类型,设置为零值会真的在请求体中发送对应字段(如 "temperature":0)。
temperature 参数控制采样随机性:值越低输出越确定,接近 0 时模型倾向于选择概率最高的 token,适合代码生成、SQL 生成等要求可复现的场景。
单纯提高温度参数会带来逻辑混乱和事实错误的风险
GLM的联想参数对应模型生成时的Temperature或类似创意发散系数,数值越高模型越倾向引入新词汇和联想
提示词工程手段包括在System Prompt中规定输出为JSON格式、限制回答领域、通过Few-shot示例引导结构化输出、使用温度参数降低随机性
Transformer架构中产生概率性输出的关键机制是温度参数(Temperature)和采样策略,温度为0时输出趋于确定性最高的选择但仍无法保证与上次完全一致
对老年人等零基础听众,预先准备不同温度对比结果加生活化类比比现场调参演示更实用
还有 4 条时间轴事件
全部知识事实 (20)
大模型的温度参数(Temperature)取值范围通常为0到2,温度越低输出越确定和保守,温度越高输出越多样和富有创造性
80%已验证生产环境中Agent的Temperature参数建议设在0.1-0.3之间以保证输出一致性
80%已验证大语言模型基于Transformer架构,其输出本质上是概率采样过程,由Temperature参数控制采样随机性
80%已验证大语言模型在生成每个token时从概率分布中采样,temperature参数控制随机性的强弱,temperature越高输出越多样,越低则越确定
80%已验证大语言模型的非确定性根源于其自回归采样过程,即便temperature设为0,不同推理框架、批处理大小和硬件浮点运算差异都可能导致输出漂移
75%已验证大语言模型输出本质上是概率性的,采样温度(Temperature)、Top-P 等参数使模型每次生成内容可能不同,是软件测试的挑战
75%已验证解码策略中温度参数设置过高会导致采样随机性增加,与幻觉产生有关
65%已验证温度参数越高,Softmax输出的概率分布越平坦,输出越富有创意和多样性;温度越低分布越尖锐,输出越确定保守
65%已验证Temperature 控制采样分布的平坦程度,值越高越倾向选择低概率词汇;Top-p 通过累积概率阈值动态收窄候选词汇集合
65%待验证Temperature=0(贪心采样)也不能保证模型输出的确定性,至少有三个原因:浮点运算非结合性、MoE路由不确定性、服务端配置漂移
90%待验证Coze大模型参数中Temperature(温度)值0.1-0.3适用于技术文档和法律文书等需要严谨确定性的场景
85%待验证框架采用「多版本发散+融合」策略,利用大语言模型的随机性生成多份方案,再融合为最终版本,本质上是集成学习思想在生成式AI中的应用
85%待验证在工具调用场景中,通常建议将温度设置在较低水平(如0.1-0.3)以确保模型稳定准确地生成工具调用请求
80%待验证RAG场景中建议使用低温度(temperature=0~0.3),因为高温度在增加创造性的同时也会放大幻觉风险
80%待验证高temperature加上缺失的repetition penalty容易导致模型陷入重复循环或生成无意义内容
60%待验证LLM基于Transformer架构的自注意力机制和Softmax概率分布,通过温度参数控制采样随机性,温度趋近0时输出最高概率token,温度升高时引入更多随机性
60%待验证课程观点认为Top-P对生成高质量文本更有效,且Top-P与Temperature可以叠加使用。
50%待验证调高Temperature(如1.0)会激活低概率词汇,输出更有创意但可能偏离逻辑;调低温度(如0.3以下)则让高概率Token稳定发挥,结果更可控。
50%待验证Temperature、Top-K 与 Top-P 是控制文本生成随机性的三个核心采样参数,常见组合是 temperature 0.7~0.8、Top-K 40、Top-P 0.9~0.95。
50%待验证Eino 的 Temperature、MaxTokens、TopP 等采样参数都是指针类型,设置为零值会真的在请求体中发送对应字段(如 "temperature":0)。
50%