待验证50% 置信事实精确时间
离散空间扩散直接在token序列上定义扩散过程，引入[MASK] token，前向过程逐步将真实token替换为mask，反向过程学习预测被mask的原始token
1
来源数
50%
置信度
长期有效
时效性
2026/9/1
首次发现
来源
涉及实体
相关事实
待验证构建最小可行扩散语言模型可采用离散mask扩散方式，参考MDLM或D3PM框架，前向过程通过转移矩阵以时间步相关概率将token替换为[MASK]64% 相似待验证掩码扩散（Masked Diffusion）将添加噪声操作定义为随机将token替换为[MASK]标记，去噪对应预测被掩码位置的原始token64% 相似待验证文本扩散模型主要通过两条路径解决离散token问题：在连续嵌入空间执行扩散，或定义离散马尔可夫转移矩阵直接在token空间操作63% 相似待验证BERT的MLM是一步到位的预测且主要用于表征学习，而离散扩散模型将mask比例作为从0%到100%的连续变量构建完整马尔可夫链，通过多步迭代实现渐进式生成61% 相似待验证扩散模型在连续像素空间中学习概率分布，而非在离散符号空间中建立语义映射，与GPT系列语言模型的Token化处理路径存在架构分歧60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/837834API
curl https://kongchang.com/api/v1/knowledge/claims/837834MCP
get_claim(id=837834)