[控场AI]
概念扩散语言模型 / Diffusion Language Model

dLLM

一类将扩散模型思路应用于离散文本序列生成的语言模型,通过掩码-去噪迭代而非自回归方式生成文本,支持并行生成和局部填充操作

时间轴 (近 90 天)

10月23日

在基于采样的RareTrap中,使用dLLM映射后字符级困惑度从10^3–10^7降至3–5。

待验证50%
10月23日

基于随机映射的风险估计与基于dLLM映射的风险估计可能相差一个数量级,表明基于随机映射的风险评估会严重偏离自然提示下的真实风险。

待验证50%
10月23日

dLLM的计算开销可能高于随机映射,实际攻击成本需进一步评估。

待验证50%
10月23日

近期一篇论文提出将连续隐空间框架直接耦合到连续扩散语言模型(dLLM)上,用学习到的语言分布替换随机映射,以生成更自然的对抗提示。

待验证50%
10月23日

在基于优化的ThinkTrap中,使用dLLM映射后字符级困惑度从20–28降至4.3–5.4。

待验证50%
10月9日

由于所有位置原则上可以同时并行处理,dLLM在生成固定长度序列时往往比自回归模型更快

待验证50%
10月9日

Plan-and-Patch 是一个规划—执行(plan-and-act)框架,核心是用扩散语言模型(dLLM)生成和修复计划

待验证50%

全部知识事实 (7)

来源文章