o200k_base
OpenAI发布的分词器标准，词表约20万token，随GPT-4o系列模型推出，是当前主流frontier模型所使用的词表，对代码符号和多字节字符编码效率优于前代cl100k_base
核心事实
时间轴 (近 90 天)
o200k_base分词器是OpenAI系列模型使用的BPE分词器；不同模型的分词器对JSON和代码类文本的计数差异通常达数十个百分点。
作者复现了此前发表的「The Tokenizer Tax」表格，66个单元格中66个误差在0.5%以内；cl100k_base下平均税率8.03倍（原论文8.0倍），o200k_base下2.14倍（原论文2.1倍）。
作者实测显示：18个工具的JSON Schema定义消耗2,388个Token，平均每个工具133个Token，在10步Agent运行中可占输入Token的36%、总账单的32%。
o200k_base是较新GPT系列使用的分词编码，词汇表更大，对代码、JSON这类结构化文本的切分效率通常优于旧版cl100k_base。
用 o200k_base 编码，'I love strawberry' 变成 [40, 3047, 101830]。
o200k_base是OpenAI为GPT-4o系列引入的分词器，词表约20万，对多语言（尤其是非英语）文本的压缩效率明显优于早期的cl100k_base。
在20个德语公开页面的实测样本中，中位页面的原始HTML约为128,000 Token，单个页面就能塞满一个128k上下文窗口。
Context Lens 展示每个仓库的原始 token 与映射后 token 的对比，并与真实的 o200k tokenizer 运行结果进行校验
o200k_base 词表扩大到约 20 万个 token，相比 cl100k_base 对代码中常见符号和多字节字符的编码效率更高
全部知识事实 (10)
GPT-4系列采用cl100k_base词表（约10万词元），GPT-4o系列升级至o200k_base（约20万词元）
90%待验证o200k_base分词器是OpenAI系列模型使用的BPE分词器；不同模型的分词器对JSON和代码类文本的计数差异通常达数十个百分点。
50%待验证作者复现了此前发表的「The Tokenizer Tax」表格，66个单元格中66个误差在0.5%以内；cl100k_base下平均税率8.03倍（原论文8.0倍），o200k_base下2.14倍（原论文2.1倍）。
50%待验证作者实测显示：18个工具的JSON Schema定义消耗2,388个Token，平均每个工具133个Token，在10步Agent运行中可占输入Token的36%、总账单的32%。
50%待验证o200k_base是较新GPT系列使用的分词编码，词汇表更大，对代码、JSON这类结构化文本的切分效率通常优于旧版cl100k_base。
50%待验证用 o200k_base 编码，'I love strawberry' 变成 [40, 3047, 101830]。
50%待验证在20个德语公开页面的实测样本中，中位页面的原始HTML约为128,000 Token，单个页面就能塞满一个128k上下文窗口。
50%待验证o200k_base是OpenAI为GPT-4o系列引入的分词器，词表约20万，对多语言（尤其是非英语）文本的压缩效率明显优于早期的cl100k_base。
50%待验证Context Lens 展示每个仓库的原始 token 与映射后 token 的对比，并与真实的 o200k tokenizer 运行结果进行校验
50%待验证o200k_base 词表扩大到约 20 万个 token，相比 cl100k_base 对代码中常见符号和多字节字符的编码效率更高
50%