记忆效应

采样器带来的增益可拆解为记忆效应（在 Sudoku 和 GSM8K 上均存在）与词元选择效应（在 GSM8K 上出现且小预算下最显著）。

记忆效应指采样器在重新加噪状态时倾向于保留已生成词元的信息，从而减少重复错误。

过参数化网络虽然容量足以记住随机标签，但梯度下降的隐式正则化偏向于先学习简单、一致的规律。