掩码扩散语言模型
扩散语言模型的技术分支，将加噪过程定义为随机遮盖部分token，训练模型并行预测被遮盖位置，通过多轮迭代去掩码实现非自回归并行文本生成
时间轴 (近 90 天)
掩码扩散语言模型（如LLaDA和Dream系列）在推理时从全掩码序列出发，通过多轮迭代逐步去掩码，每次并行地预测并写入多个位置的token。
掩码扩散语言模型（dLLM）的解码顺序对生成质量有显著影响。
与 GPT 等从左到右逐 token 生成的自回归模型不同，dLLM 在推理时揭示顺序并不固定，具备并行解码与任意顺序生成的潜力，但引入了解码顺序决策问题。
常见 dLLM 解码器通常在生成过程中固定使用同一种揭示规则。
扩散语言模型（dLLM）的骨架与 BERT 类掩码语言模型高度相似：训练时随机遮盖一部分 token，让模型根据剩余上下文还原。
计数式预测能部分识别哪些输入对语料变化最敏感，但明显低估了神经模型分歧下降的速度
研究者在相同语料上训练了小型掩码扩散语言模型与计数式预测进行对照
掩码扩散语言模型的解码过程中，token 一旦被提交到掩码位置通常是不可逆的，无法再被修正
论文在一个2.19亿参数(219M)的掩码扩散语言模型上进行了四任务的持续适应实验
全部知识事实 (9)
掩码扩散语言模型（如LLaDA和Dream系列）在推理时从全掩码序列出发，通过多轮迭代逐步去掩码，每次并行地预测并写入多个位置的token。
50%待验证掩码扩散语言模型（dLLM）的解码顺序对生成质量有显著影响。
50%待验证与 GPT 等从左到右逐 token 生成的自回归模型不同，dLLM 在推理时揭示顺序并不固定，具备并行解码与任意顺序生成的潜力，但引入了解码顺序决策问题。
50%待验证常见 dLLM 解码器通常在生成过程中固定使用同一种揭示规则。
50%待验证扩散语言模型（dLLM）的骨架与 BERT 类掩码语言模型高度相似：训练时随机遮盖一部分 token，让模型根据剩余上下文还原。
50%待验证计数式预测能部分识别哪些输入对语料变化最敏感，但明显低估了神经模型分歧下降的速度
50%待验证研究者在相同语料上训练了小型掩码扩散语言模型与计数式预测进行对照
50%待验证掩码扩散语言模型的解码过程中，token 一旦被提交到掩码位置通常是不可逆的，无法再被修正
50%待验证论文在一个2.19亿参数(219M)的掩码扩散语言模型上进行了四任务的持续适应实验
50%