NCM

NCM（Next-Concept Modeling）方案被提出，旨在通过分层潜在表征实现并行生成，以在效率与信息保留之间寻找平衡。

在新闻摘要任务上，NCM质量得分优于扩散模型；在结构化推理任务上NCM大幅胜出；而在德英翻译任务上逐词自回归模型质量更优。

NCM的31倍提速是在新闻摘要任务上、与最强扩散语言模型（128步）相比，在质量分大致相同时，NCM仅用8步完成生成。

论文中所有时间对比均为NCM与扩散模型的对比，从未与主流自回归模型进行速度比较，因此31倍并非比GPT快31倍。

在德英翻译任务中，一个逐词生成的自回归模型作为对照，其质量分比NCM高2.6分，NCM通过最小贝叶斯风险解码追平但消耗约一倍算力。

NCM的生成步数（层数）由模型固定，不随输出长度变化：摘要模型8步，翻译模型11步，网页文本模型32步。

NCM将推理瓶颈从显存带宽转向计算算力，权重读取次数大幅减少，但处理的位置数多于输出的token数，增加了计算量。

NCM中的“下一概念”指从码表中选出的离散编号，与高级语义或思想无关，也与Meta的“大概念模型”中的概念（整句向量）完全不同。

NCM模型包含一个压缩器（将文本编码为多层概念码）和一个Transformer生成器（预测下一层概念），每层一次前向传播。

在高并发（64个请求）场景下，同尺寸自回归模型的速度反超NCM。

NCM在困难数独任务上达到86%的准确率，与论文报告一致。

在数独任务中，NCM每一轮重写整个棋盘，早期轮次会写错初始数字，最后整体收敛。

NCM无法流式输出，因为最后一轮结束前没有可读内容。

论文中NCM的数独优势主要来自填格顺序（解码策略），而非架构本身。

NCM的优势有严格适用边界：单用户本地GPU场景有最多4倍加速，但批量服务或并行agent场景反而更慢。

发布的NCM代码目前只供评估，没有训练代码，且提示缓存表现有问题。

NCM的压缩器在文本和码之间转换时，有时会弄混名字和数字。

作者训练的最大NCM模型不到10亿参数，在27B乃至更大规模上是否成立尚无验证。

NCM每个模型写进一个固定大小的输出框，即使答案很短也要跑完所有层，成本照付。

在单请求场景下，NCM在翻译任务上比同尺寸自回归模型快4倍，在新闻摘要任务上快近2倍。