概念分类式推理 / classification-style inference / Constrained Decoding
受限解码
一种语言模型推理方式,通过直接读取预设候选答案对应token的概率值进行排序选择,而非自回归生成完整文本,常用于意图分类、选择题评测等封闭动作空间场景
时间轴 (近 90 天)
10月1日
传统自回归语言模型在生成时从整个词表(通常数万到数十万个 token)中采样或取概率最高者
待验证50%
一种语言模型推理方式,通过直接读取预设候选答案对应token的概率值进行排序选择,而非自回归生成完整文本,常用于意图分类、选择题评测等封闭动作空间场景
传统自回归语言模型在生成时从整个词表(通常数万到数十万个 token)中采样或取概率最高者