共 2 篇相关文章
Tokenizer研究揭示三大迷思：BPB并非分词器无关，低BPB不代表模型更好，所谓一致指标实则矛盾。了解分词器三难困境及其对模型评估的实践启示。
一段6分钟动画追踪“strawberry”在GPT-4o分词器中的真实token id与BPE合并过程，解释为何模型数不清字母：带空格的单词是单个token、空格属于单词、推理模型通过拼写绕开限制，并对比GPT-4与GPT-4o对印地语的分词效率差异。
