待验证50% 置信基准精确时间

研究团队在单一语言内部对比了七款基于BPE的分词器：GPT-2、GPT-4、gpt-oss、Llama 3.1、Gemma 3、Qwen3和Kimi K2

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/8

首次发现

有效期至：2027/1/6

来源

Tokka-Bench：横跨100种语言的分词器评测新框架

涉及实体

GPT-2model GPT-4model gpt-ossmodel Llama 3.1model Gemma 3model Qwen3model Kimi K2model

相关事实

已验证DALL·E 3首次与GPT-4的语言理解能力深度结合73% 相似已验证GPT系列和Claude系列均采用Byte-Pair Encoding（BPE）类似的分词机制72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/986636

API

curl https://kongchang.com/api/v1/knowledge/claims/986636

MCP

get_claim(id=986636)