已验证65% 置信事实时间未知

GPT系列使用tiktoken（基于BPE编码）进行Token化

3

来源数

65%

置信度

长期有效

时效性

2026/6/2

首次发现

来源

AI API聚合网关：多模型统一接入方案的优劣全解析

bilibili啦啦爱草莓

涉及实体

GPTmodel tiktokenproduct OpenAIcompany

相关事实

待验证GPT系列使用tiktoken分词器，LLaMA系列使用SentencePiece分词器83% 相似待验证GPT系列和Claude系列均采用Byte-Pair Encoding（BPE）类似的分词机制78% 相似待验证GPT系列模型采用字节级BPE（Byte-level BPE），以原始字节为基本单位消除未登录字符问题76% 相似待验证GPT系列常用的BPE字节对编码算法通过统计相邻字符对频率并合并最高频字符对来构建词汇表76% 相似待验证GPT系列使用BPE（Byte Pair Encoding）分词器，em dash在tokenizer中被编码为独立的token75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/37991

API

curl https://kongchang.com/api/v1/knowledge/claims/37991

MCP

get_claim(id=37991)