Tokka-Bench：横跨100种语言的分词器评测新框架

大语言模型的能力不仅取决于参数规模和训练数据，底层的分词器（Tokenizer）同样是决定性因素之一。一项名为 Tokka-Bench 的开源研究提出，分词器的质量在不同语言之间存在显著差异，但长期以来业界却缺乏一个标准化的多指标评测框架来横向比较它们的优劣。这篇 arXiv 论文正是为填补这一空白而来。

为什么分词器评测如此重要

子词分词器（subword tokenizer）是大语言模型处理文本的第一道关口。它把原始文本切分成模型能够理解的 token，而切分的效率和质量会直接影响模型在特定语言上的表现、推理成本以及上下文窗口的实际利用率。

问题在于，同一个分词器在英语上可能表现优异，但面对中文、阿拉伯语或印地语等使用不同书写系统的语言时，效率可能大幅下降。一个词被切成过多的 token，不仅浪费上下文长度，也会推高计算成本。然而在 Tokka-Bench 出现之前，研究者缺少一套统一的、覆盖多语言的多维度评测工具来量化这些差异。

子词分词器的主流算法包括 BPE（Byte-Pair Encoding，字节对编码）、WordPiece 和 SentencePiece 等。以 BPE 为例，它从单个字符出发，反复合并语料库中出现频率最高的相邻符号对，最终形成一个兼顾高频完整词与低频子词的词表。这种设计在英语等拉丁字母语言上极为高效，因为语料中高频词会被直接编码为单个 token；但对于形态丰富的语言（如芬兰语、土耳其语）或非拉丁书写系统（如汉字、阿拉伯文、天城文），若训练语料中这些语言的比例偏低，算法就难以学到足够多的高频合并规则，导致一个普通词汇被拆成大量细碎的 token。这种现象在研究中被称为"过度分词"（over-tokenization），其直接后果是：处理相同语义内容时，非英语文本消耗的 token 数量可能是英语的数倍，推理成本与上下文窗口占用随之成倍增加。

Tokka-Bench 的五大评测指标

Tokka-Bench 的核心贡献在于提出了五个互补的评测维度，而非单一依赖某个指标：

• 每 token 字节数（bytes per token）：衡量分词压缩效率。
• 唯一 token 覆盖率（unique token coverage）：反映词表对特定语言的覆盖程度。
• 子词繁殖率（subword fertility）：即平均每个词被切分成多少个 token。
• 词拆分率（word-split rate）：被拆开处理的词的比例。
• 词表构成（vocabulary composition）：分析词表中各类 token 的分布结构。

这套框架覆盖了 100 种自然语言（涉及 30 多种书写系统）和 20 种编程语言，并针对每种书写系统采用了语言感知的分段方法（language-aware segmentation）。这意味着评测结果能够更真实地反映不同语系的实际处理情况，而不是用一套英语化的标准去套用所有语言。

其中"子词繁殖率"（subword fertility）是 NLP 领域评估分词器多语言友好程度时最常引用的指标之一，最早由 Acs（2019）等工作系统化提出。其计算方式为：将目标语言语料中所有词经分词器处理后得到的 token 总数，除以原始词的总数，比值越高说明该语言被切得越碎。一般认为繁殖率在 1.0–1.5 之间属于高效区间，超过 2.0 则意味着模型处理该语言时面临较大的结构性劣势。"词拆分率"则是一个二元化的补充视角：只要一个词被拆成两个及以上的 token，就计为"被拆词"，该比率反映的是分词器对完整词汇边界的保留能力。两个指标结合使用，可以同时捕捉分词粒度的"平均程度"与"发生频率"，互为补充。

七大主流分词器的横向对比

研究团队在单一语言内部对比了七款基于 BPE（字节对编码）的分词器，涵盖了当前业界的主要代表：GPT-2、GPT-4、gpt-oss、Llama 3.1、Gemma 3、Qwen3 以及 Kimi K2。

这组对比得出了两个颇具启发性的结论：

词表分配策略比词表规模更关键

一个常见的直觉是：词表越大，分词器处理多语言的能力越强。但 Tokka-Bench 的发现挑战了这一假设——词表的分配策略（vocabulary allocation strategy）比原始词表规模更重要。换句话说，如何把有限的词表名额合理地分配给不同语言和脚本，往往比单纯堆叠词表容量更能提升实际效率。这对分词器设计者而言是一个重要的方向性提示。

词表分配策略通常在分词器训练阶段通过调整各语言的采样比例来实现。例如，若将训练语料中某语言的采样权重从 1% 提升至 5%，BPE 算法就会为该语言学到更多高频合并规则，从而在词表中预留更多该语言的完整词或常见子词单元。近年来一些多语言模型（如 mT5、Llama 3）在构建分词器时会显式设计"语言预算"（language budget），按书写系统或语系分配词表槽位，而非简单地让高资源语言（尤其是英语）主导合并过程。Tokka-Bench 的发现进一步量化地证明了这一设计决策的重要性：即便两个分词器词表规模相近，若低资源语言在训练语料中的采样比例存在差异，最终的多语言处理效率可能天差地别。这对于需要从头设计分词器的团队而言，提供了明确的优化方向。

编程语言分词效率已趋同

另一个有趣的发现是，尽管这些分词器在自然语言上的表现差异明显（divergent natural-language profiles），但它们在编程语言上的处理效率已经高度趋同。这或许反映出近年来主流模型普遍重视代码能力，使得代码分词的优化成为行业的共同基线。对于以代码任务为核心的应用来说，分词器之间的选择空间可能不如自然语言场景那样敏感。

开源与可复现的价值

Tokka-Bench 的框架、数据集以及一个交互式仪表盘均已公开可用。这种开放性对社区的意义不小：研究者和工程师可以直接用它来评估自己模型的分词器在目标语言上的表现，尤其是在构建面向特定语言或多语言场景的应用时，提前量化分词成本能够帮助做出更明智的技术决策。

对于关注低资源语言、多语言模型公平性的研究者来说，这样一套覆盖 30 多种书写系统的工具，也为揭示和改善语言间的不平等提供了可量化的抓手。

小结

Tokka-Bench 填补了多语言、多指标分词器评测的空白。它用五个互补指标、跨越 120 种语言的覆盖范围，给出了超越"词表越大越好"的直觉结论：分配策略胜过规模，代码分词趋于统一，而自然语言仍是分词器差异化的主战场。对于任何需要在多语言环境下部署大模型的团队，这都是一份值得参考的评测基准。