待验证50% 置信事实精确时间

该更新涵盖了预分词阶段顺序、切分行为、Unicode 边界处理、添加 token 的归一化以及带排名的 BPE 合并等环节

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/4

首次发现

有效期至：2027/1/2

来源

Ollama v0.40.0-rc1 发布：MLX 分词器对齐发布者语义

涉及实体

Ollamaproduct BPEconcept

相关事实

已验证token切分设计源于字节对编码（BPE）等分词算法69% 相似待验证推理阶段分词时必须严格按照与训练时相同的 BPE 合并排名顺序执行，否则同一段文本可能被拆分为不同的 token 序列68% 相似待验证BPE通过统计相邻字符的共现频率，迭代合并高频子词单元，构建覆盖常见词根与词缀的共享词表66% 相似待验证tokenizer 的词表规模、特殊 token 定义或上下文处理方式变化会导致部分预处理和后处理逻辑需要更新64% 相似已验证BPE的核心思路是从字符级别出发，反复合并出现频率最高的相邻字符对，直到词汇表达到预设大小64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/974679

API

curl https://kongchang.com/api/v1/knowledge/claims/974679

MCP

get_claim(id=974679)