共 1 篇相关文章
一段6分钟动画追踪“strawberry”在GPT-4o分词器中的真实token id与BPE合并过程，解释为何模型数不清字母：带空格的单词是单个token、空格属于单词、推理模型通过拼写绕开限制，并对比GPT-4与GPT-4o对印地语的分词效率差异。
