产品

js-tiktoken

TikToken 的 JavaScript 实现，用于 OpenAI 模型的 Token 计数和文本编码，内嵌较大的 BPE 排表数据。

时间轴 (近 90 天)

10月20日

js-tiktoken 内嵌 5.3MB 的 base64 BPE rank 表，首次调用会膨胀到 +43MB V8 堆。

待验证50%

10月13日

OpenAI 的分词器是开源的，JavaScript 中可用 js-tiktoken 在任何环境（包括浏览器）运行，Python 中对应 tiktoken 包。

待验证50%

js-tiktoken 内嵌 5.3MB 的 base64 BPE rank 表，首次调用会膨胀到 +43MB V8 堆。

OpenAI 的分词器是开源的，JavaScript 中可用 js-tiktoken 在任何环境（包括浏览器）运行，Python 中对应 tiktoken 包。