概念next-token generation / 自回归生成
下一词预测
语言模型逐token串行生成文本的范式，根据前文预测下一个词的概率分布，是当前主流大语言模型的基础生成方式。
核心事实
时间轴 (近 90 天)
11月2日
在相同学习速度下取 3 个随机种子的平均值，好视角（同一张照片的两条不同描述）达到 0.320，坏视角（单条描述、遮蔽部分词）为 0.192，下一词预测为 0.148。
待验证50%
11月2日
作者对每种方法做了小幅学习率搜索，取最佳速度、单种子运行，结果为 0.328 / 0.196 / 0.168，排序不变，说明领先并非学习率调参的偶然产物。
待验证50%
11月2日
检索指标 R@1（配合一个拟合旋转）显示差距收窄：好视角 0.084，坏视角 0.063，下一词预测 0.057。
待验证50%
10月23日
自回归下一词预测的串行生成本质导致每个token都需要一次前向计算，生成长文本时延迟显著。
待验证50%
全部知识事实 (5)
已验证
大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%待验证在相同学习速度下取 3 个随机种子的平均值，好视角（同一张照片的两条不同描述）达到 0.320，坏视角（单条描述、遮蔽部分词）为 0.192，下一词预测为 0.148。
50%待验证作者对每种方法做了小幅学习率搜索，取最佳速度、单种子运行，结果为 0.328 / 0.196 / 0.168，排序不变，说明领先并非学习率调参的偶然产物。
50%待验证检索指标 R@1（配合一个拟合旋转）显示差距收窄：好视角 0.084，坏视角 0.063，下一词预测 0.057。
50%待验证自回归下一词预测的串行生成本质导致每个token都需要一次前向计算，生成长文本时延迟显著。
50%