概念top-p采样 / Top-p
核采样
一种解码策略,从累积概率达到阈值p的最小词集合中采样,用于调节输出的发散程度,低温趋向确定性、高温趋向多样性。
时间轴 (近 90 天)
10月14日
核采样与top-k采样是当前LLM解码中最常用的两种启发式策略,其超参数(k或p)是静态的,无法根据上下文复杂度自适应调整。
待验证50%
10月14日
EOS与核采样和top-k采样的根本区别在于:EOS不是通过截断分布来控制质量,而是通过信息论约束下的熵最大化来动态调节温度,且有在线学习理论保证。
待验证50%
9月19日
Top-p(核采样)通过截断概率分布的长尾来过滤极低概率输出
待验证50%