dLLM
一类将扩散模型思路应用于离散文本序列生成的语言模型,通过掩码-去噪迭代而非自回归方式生成文本,支持并行生成和局部填充操作
时间轴 (近 90 天)
在基于采样的RareTrap中,使用dLLM映射后字符级困惑度从10^3–10^7降至3–5。
基于随机映射的风险估计与基于dLLM映射的风险估计可能相差一个数量级,表明基于随机映射的风险评估会严重偏离自然提示下的真实风险。
dLLM的计算开销可能高于随机映射,实际攻击成本需进一步评估。
近期一篇论文提出将连续隐空间框架直接耦合到连续扩散语言模型(dLLM)上,用学习到的语言分布替换随机映射,以生成更自然的对抗提示。
在基于优化的ThinkTrap中,使用dLLM映射后字符级困惑度从20–28降至4.3–5.4。
由于所有位置原则上可以同时并行处理,dLLM在生成固定长度序列时往往比自回归模型更快
Plan-and-Patch 是一个规划—执行(plan-and-act)框架,核心是用扩散语言模型(dLLM)生成和修复计划
全部知识事实 (7)
在基于采样的RareTrap中,使用dLLM映射后字符级困惑度从10^3–10^7降至3–5。
50%待验证基于随机映射的风险估计与基于dLLM映射的风险估计可能相差一个数量级,表明基于随机映射的风险评估会严重偏离自然提示下的真实风险。
50%待验证dLLM的计算开销可能高于随机映射,实际攻击成本需进一步评估。
50%待验证近期一篇论文提出将连续隐空间框架直接耦合到连续扩散语言模型(dLLM)上,用学习到的语言分布替换随机映射,以生成更自然的对抗提示。
50%待验证在基于优化的ThinkTrap中,使用dLLM映射后字符级困惑度从20–28降至4.3–5.4。
50%待验证由于所有位置原则上可以同时并行处理,dLLM在生成固定长度序列时往往比自回归模型更快
50%待验证Plan-and-Patch 是一个规划—执行(plan-and-act)框架,核心是用扩散语言模型(dLLM)生成和修复计划
50%