分词
将原始文本切分为 token 序列的处理过程，分为字符级、词级和子词级三种方式，是嵌入模型和语言模型处理文本的第一步。
时间轴 (近 90 天)
分词策略直接决定词汇校验的粒度：切得过粗会漏掉伪造内容，切得过细会把无实义的碎片误判为语义词导致误报；同义词、词形变化和跨语言混写会影响匹配，非英语场景需要专门设计分词与词形归一化方案。
推理引擎通过KV缓存复用共享前缀，让新token跳过重复的prefill计算，但分词环节没有类似的复用捷径，服务引擎的CPU前端每次都要从第一个字符开始把整个请求重新转换成token ID。
在KV缓存、注意力优化、量化等环节被反复打磨之后，分词这个前处理步骤仍可能是TTFT的重要贡献者，尤其是在长提示词和Agent多轮场景中。
佐治亚理工学院的研究发现，在智能体多轮对话场景中，历史记录每一轮都要在CPU上重新分词，而GPU因缓存了已见内容负担反而缩小。
该研究发现，在获得充足CPU资源的情况下，从发送请求到收到第一个token的等待时间（TTFT）在测试的多种配置中缩短了1.47至7.11倍。
在大模型推理流水线中，文本必须先由CPU转成token，GPU才能开始工作，因此分词的CPU开销位于GPU计算的关键路径前端。
两项研究都无法确定空闲时间中有多少归因于分词，而非输出重组、解析或在芯片上启动任务。
PyTorch博客上LightSeek Foundation的分析主张把分词工作从Python进程中彻底移出。
Hugging Face在发布新一代分词库时判断，分词在历史上从来不是瓶颈，但在同时服务大量请求或反复处理超长输入时会成为瓶颈。
分词本质上是查表与少量字符串匹配操作，复杂度与序列长度近似线性，单位成本远低于Transformer中的自注意力或矩阵乘法。
全部知识事实 (10)
分词策略直接决定词汇校验的粒度：切得过粗会漏掉伪造内容，切得过细会把无实义的碎片误判为语义词导致误报；同义词、词形变化和跨语言混写会影响匹配，非英语场景需要专门设计分词与词形归一化方案。
50%待验证推理引擎通过KV缓存复用共享前缀，让新token跳过重复的prefill计算，但分词环节没有类似的复用捷径，服务引擎的CPU前端每次都要从第一个字符开始把整个请求重新转换成token ID。
50%待验证在KV缓存、注意力优化、量化等环节被反复打磨之后，分词这个前处理步骤仍可能是TTFT的重要贡献者，尤其是在长提示词和Agent多轮场景中。
50%待验证佐治亚理工学院的研究发现，在智能体多轮对话场景中，历史记录每一轮都要在CPU上重新分词，而GPU因缓存了已见内容负担反而缩小。
50%待验证该研究发现，在获得充足CPU资源的情况下，从发送请求到收到第一个token的等待时间（TTFT）在测试的多种配置中缩短了1.47至7.11倍。
50%待验证在大模型推理流水线中，文本必须先由CPU转成token，GPU才能开始工作，因此分词的CPU开销位于GPU计算的关键路径前端。
50%待验证两项研究都无法确定空闲时间中有多少归因于分词，而非输出重组、解析或在芯片上启动任务。
50%待验证PyTorch博客上LightSeek Foundation的分析主张把分词工作从Python进程中彻底移出。
50%待验证Hugging Face在发布新一代分词库时判断，分词在历史上从来不是瓶颈，但在同时服务大量请求或反复处理超长输入时会成为瓶颈。
50%待验证分词本质上是查表与少量字符串匹配操作，复杂度与序列长度近似线性，单位成本远低于Transformer中的自注意力或矩阵乘法。
50%