Meta用小模型实测：绕过分词直接读字节，后劲更足

大模型处理文本的标准流程是先把文字切成token（词元），再喂给模型。Meta的一篇新论文尝试了一条不同的路：让模型跳过分词器，直接读取原始字节，也就是一个字母一个字母地读。这个思路并不新鲜，但论文用蒸馏实验给出了一个有意思的观察：字节模型起步更差，但训练曲线没有像token模型那样早早走平。

实验怎么做的

据Reddit上对该论文（arXiv:2609.12303）的讨论，研究团队训练了一批约1B参数的小模型，一部分用token训练，一部分用byte训练。为了让字节模型少走弯路，他们采用了蒸馏：让token模型去“教”字节模型，教师模型是Llama 3 8B。

麻烦之处在于，教师用token思考，学生按字节阅读，两者的切分粒度对不上。团队需要设计一套干净的对应方式，把教师的输出翻译成字节模型能理解的监督信号。这一步是该工作能跑通的关键前提。

分词器（Tokenizer）与字节级建模的区别：主流大模型依赖分词器将文本切分为子词单元（如BPE算法产出的token），每个token对应词表中的一个ID。词表通常包含数万到数十万条目，模型在离散的token序列上做预测。字节级模型则完全跳过分词器，直接把UTF-8编码的原始字节（0-255）作为输入序列，一个字母可能对应1个或多个字节。这样做的好处是词表极小（仅256个）、没有未登录词问题、跨语言和符号处理更统一；代价是序列长度显著增加，因为一个token平均对应4-5个字节，模型需要处理更长的序列，计算和推理成本随之上升。

训练曲线给出的两个结论

早期阶段，token模型赢得毫无悬念。同样的训练量下，字节模型明显落后。

但随着训练继续，情况发生变化：token模型的效果开始走平，字节模型仍在持续改善。论文作者把两条曲线外推，得出字节模型最终会反超Llama 3.2 1B和Gemma 3 1B几个百分点的预测。另一个数据是，字节模型达到同等水平所需的文本量大约只有token模型的六分之一。

这里需要区分事实与推测。反超Llama和Gemma是曲线外推的结果，实际训练中token模型仍然领先。论文的价值在于展示了一种趋势，而不是已经交付的胜局。

知识蒸馏（Knowledge Distillation）：一种让小型“学生”模型模仿大型“教师”模型输出的训练技术。教师模型对输入给出软标签（概率分布），学生模型通过最小化与教师分布的差异来学习，而不仅依赖硬标签（真实答案）。蒸馏能传递教师学到的类别间相似性等暗知识，常用来提升小模型效果或加速训练。本文中，教师是Llama 3 8B（基于token），学生是字节模型，两者输入粒度不同，因此需要设计token与字节序列之间的对齐映射，才能把教师的token级输出转化为字节模型可用的监督信号。

代价与限制

字节模型并非没有成本。一个token大致对应4到5个字母，逐字节处理意味着同样的文本要跑约5倍的步数，推理更慢。数据用量少了，计算量却上去了。

另一个容易被误读的点是：token并没有被淘汰。教师模型依然基于token，蒸馏流程本身就依赖分词模型提供高质量信号。字节路线目前更像是一种补充，而非替代。

范围上，实验只覆盖1B量级的小模型。字节模型在更大规模上是否仍保持同等优势，论文没有回答，这恰恰是判断其长期价值的关键问题。

曲线外推（Extrapolation）的局限：论文将训练曲线延伸到未来步数，预测字节模型最终反超。但外推假设趋势不变，实际训练中学习率调度、数据分布、模型容量等因素都可能使曲线弯曲或饱和。因此，外推结果只能作为假设，而非已验证的结论。读者应区分“观察到的趋势”与“实际交付的性能”：在已训练步数内，token模型仍然领先。

为什么这件事值得关注

对手机、笔记本上跑的小模型来说，同等参数下多榨出几分质量，实际意义不小。如果字节路线在边缘设备上成立，模型可以在不增加体积的前提下获得更好的表现。

还有一个附带好处：摆脱庞大的词表后，一些分词带来的“低级错误”可能消失，比如数不清一个单词里有几个字母。这类问题在token模型上长期存在，根源就在于词表切分。

Reddit讨论中有人追问：有没有工作在让字节模型跑得和token模型一样快？这指向了该路线落地的核心障碍——速度。在推理效率没有追平之前，字节模型更适合作为研究方向和特定场景的备选，而不是通用方案。

小结

这篇论文提供的不是“token已死”的结论，而是一条值得继续观察的曲线。起步慢、后劲足、数据效率高、推理更慢，这四个特征同时成立。它是否能从1B小模型推广到更大规模，以及速度问题能否解决，将决定字节路线是成为主流之外的补充，还是仅仅停留在论文里的有趣注脚。