其他
温度采样
时间轴 (近 90 天)
10月18日
多语言语言识别模型需兼顾高资源语言与低资源语言,常见做法包括按语言分层采样、对低资源语言过采样或使用温度采样平衡批次。
待验证50%
10月14日
普通温度采样、验证器贪婪解码、奖励倾斜策略都是倾斜温度采样框架的特例。当η=0时退化为标准温度采样;当T→0且只保留最高V值时变为验证器贪婪。
待验证50%
10月14日
在约束优化框架下,温度采样的逆温度参数恰好对应交叉熵预算约束的拉格朗日乘子。
待验证50%
10月14日
以往的解码方法(如 top-k、top-p、温度采样)大多基于对 logit 分布的简化假设,但很少验证这些假设是否成立。
待验证50%
9月19日
改善模型校准的研究方向包括通过监督微调引入不确定性标记、使用温度采样对概率分布进行后校准,以及训练模型主动输出拒绝回答的能力
待验证50%
全部知识事实 (6)
待验证
多语言语言识别模型需兼顾高资源语言与低资源语言,常见做法包括按语言分层采样、对低资源语言过采样或使用温度采样平衡批次。
50%待验证普通温度采样、验证器贪婪解码、奖励倾斜策略都是倾斜温度采样框架的特例。当η=0时退化为标准温度采样;当T→0且只保留最高V值时变为验证器贪婪。
50%待验证在约束优化框架下,温度采样的逆温度参数恰好对应交叉熵预算约束的拉格朗日乘子。
50%待验证以往的解码方法(如 top-k、top-p、温度采样)大多基于对 logit 分布的简化假设,但很少验证这些假设是否成立。
50%待验证改善模型校准的研究方向包括通过监督微调引入不确定性标记、使用温度采样对概率分布进行后校准,以及训练模型主动输出拒绝回答的能力
50%待验证Top-p(核采样)通过限定候选token的累积概率范围来控制输出多样性,与Temperature配合使用可实现更精细的输出调节
50%