待验证50% 置信事实精确时间

同一句印地语在GPT-4的分词器下需要21个token，而在GPT-4o（o200k_base）下只需要5个token。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/11/1

首次发现

有效期至：2027/1/30

来源

GPT-4o分词器动画解析：草莓为何数不清R

涉及实体

GPT-4model GPT-4omodel o200k_baseconcept 印地语concept

相关事实

已验证GPT-4系列采用cl100k_base词表（约10万词元），GPT-4o系列升级至o200k_base（约20万词元）78% 相似已验证OpenAI的GPT系列以整数版本号递增（GPT-3、GPT-4），并以字母后缀区分变体，如「o」代表优化版本（GPT-4o），「mini」代表轻量版本77% 相似已验证在GPT系列模型中，一个Token大约对应4个英文字符或0.75个英文单词75% 相似待验证GPT-4时代的上下文限制为8192个token74% 相似待验证GPT-4的tiktoken分词器中，一个英文单词平均对应1.3个token，每个汉字约占2-3个token74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1124161

API

curl https://kongchang.com/api/v1/knowledge/claims/1124161

MCP

get_claim(id=1124161)