概念nucleus sampling / 核采样
Top-P
大语言模型的采样参数,从概率最高的词开始累加直到累积概率达到P值,只从该子集中采样
核心事实
时间轴 (近 90 天)
10月30日
课程观点认为Top-P对生成高质量文本更有效,且Top-P与Temperature可以叠加使用。
待验证50%
10月20日
Temperature、Top-K 与 Top-P 是控制文本生成随机性的三个核心采样参数,常见组合是 temperature 0.7~0.8、Top-K 40、Top-P 0.9~0.95。
待验证50%
全部知识事实 (5)
已验证
Top-P(核采样)从累积概率超过阈值P的最小token集合中采样,Top-K仅从概率最高的K个候选中选择
80%已验证Temperature 控制采样分布的平坦程度,值越高越倾向选择低概率词汇;Top-p 通过累积概率阈值动态收窄候选词汇集合
65%待验证Coze的Top-P核采样机制是从最高概率的词开始累加,直到累积概率达到设定的P值,只从这些词中采样
60%待验证课程观点认为Top-P对生成高质量文本更有效,且Top-P与Temperature可以叠加使用。
50%待验证Temperature、Top-K 与 Top-P 是控制文本生成随机性的三个核心采样参数,常见组合是 temperature 0.7~0.8、Top-K 40、Top-P 0.9~0.95。
50%