分词器
将文本切分为子词单元（如BPE算法产出的token）的组件，每个token对应词表中的一个ID，词表通常包含数万到数十万条目。
时间轴 (近 90 天)
在分词器中，空格不独立存在，而是粘在前面的单词上，因此'strawberry'、' strawberry'（带前导空格）和'Strawberry'（首字母大写）是三个完全不同的token序列。
主流大模型依赖分词器（如BPE算法）将文本切分为子词单元，每个token对应词表中的一个ID，词表通常包含数万到数十万条目。
首次直接使用text.split()分词导致E4012,与E4012成为不同token，大量匹配丢失；改用规范分词器后v2.3.1被拆成v2、3、1，ERR_CONN_RESET变成三个常见词，稀有性丧失。
分析器不匹配（查询与文档使用不同分词器）是导致零命中的经典bug。
context_ledger.py的启发式token计数与真实分词器可能相差15-20%。
分词器通常在模型训练前固定，服务层无法更改。
分词器因模型而异，同一字符串在不同模型上可能产生不同数量的token（例如40个token vs 43个token）。
分词器是语言模型流程中相对简单、确定性的第一环，但常被忽视。
对于需要精确计算的场景，建议在代码中显式指定分词器版本，而不是依赖工具默认值。
同一段文本在不同分词器下可能被切成数量不同的 token，而 API 计费、上下文窗口限制都以 token 数为单位。
还有 3 条时间轴事件
全部知识事实 (13)
在分词器中，空格不独立存在，而是粘在前面的单词上，因此'strawberry'、' strawberry'（带前导空格）和'Strawberry'（首字母大写）是三个完全不同的token序列。
50%待验证主流大模型依赖分词器（如BPE算法）将文本切分为子词单元，每个token对应词表中的一个ID，词表通常包含数万到数十万条目。
50%待验证首次直接使用text.split()分词导致E4012,与E4012成为不同token，大量匹配丢失；改用规范分词器后v2.3.1被拆成v2、3、1，ERR_CONN_RESET变成三个常见词，稀有性丧失。
50%待验证分析器不匹配（查询与文档使用不同分词器）是导致零命中的经典bug。
50%待验证context_ledger.py的启发式token计数与真实分词器可能相差15-20%。
50%待验证分词器通常在模型训练前固定，服务层无法更改。
50%待验证分词器因模型而异，同一字符串在不同模型上可能产生不同数量的token（例如40个token vs 43个token）。
50%待验证分词器是语言模型流程中相对简单、确定性的第一环，但常被忽视。
50%待验证对于需要精确计算的场景，建议在代码中显式指定分词器版本，而不是依赖工具默认值。
50%待验证同一段文本在不同分词器下可能被切成数量不同的 token，而 API 计费、上下文窗口限制都以 token 数为单位。
50%待验证分词器是大语言模型处理文本的底层组件，负责把原始字符串切分成模型能识别的 token 序列，并映射为整数 ID。
50%待验证嵌入模型通常包含分词器、编码器权重和归一化步骤三部分，任意一部分改变都会使整个映射函数发生变化，在相同维度上产生语义坐标完全不同的新空间。
50%待验证分词器导致词表受限、对多语言和罕见字符支持不均衡、以及对拼写和字符级任务存在短板
50%