已验证75% 置信事实精确时间
GPT系列模型采用字节级BPE（Byte-level BPE），以原始字节为基本单位消除未登录字符问题
3
来源数
75%
置信度
长期有效
时效性
2026/7/15
首次发现
来源
相关事实
待验证GPT系列和Claude系列均采用Byte-Pair Encoding（BPE）类似的分词机制81% 相似待验证GPT系列使用BPE（Byte Pair Encoding）分词器，em dash在tokenizer中被编码为独立的token78% 相似待验证主流大模型普遍采用BPE（字节对编码）或其变体（如SentencePiece）作为分词算法，GPT-4的词表约为100,000个Token77% 相似已验证GPT系列使用tiktoken（基于BPE编码）进行Token化76% 相似已验证GPT系列常用的BPE字节对编码算法通过统计相邻字符对频率并合并最高频字符对来构建词汇表76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/517766API
curl https://kongchang.com/api/v1/knowledge/claims/517766MCP
get_claim(id=517766)