Next-Concept Modeling

研究者报告，NCM在特定基准上的生成速度可达扩散语言模型基线的31倍。

NCM使用VQ-VAE将文本压缩成多层次的离散码，粗层对应段落或语义主题级别抽象，细层对应更具体的表达细节。

NCM的并行层级预测减少了串行步数，因此在与扩散基线对比时显得更快；但并未涉及模型规模、训练成本、长文本连贯性等维度的完整评估。

目前没有证据支持NCM会取代自回归语言模型的判断，其速度优势尚需在更广泛的模型规模和任务上验证。

NCM将VQ-VAE机制扩展到多层码本，每层负责不同抽象粒度，粗层码本条目少而语义宽泛，细层条目多而表达具体。