WordPiece
一种子词分词算法，以最大化语言模型似然为目标来决定符号合并策略，是BERT等模型采用的核心分词方法
核心事实
时间轴 (近 90 天)
把LLaVA-1.5的token ID原样移植到两个词表不相交的模型上，F1直接跌到0.00；而使用分词器派生的读数，F1稳定保持在0.80到0.92之间。
研究者对另外四个VLM、覆盖三个分词器家族做了四读数审计，结论是Yes/No读数混淆属于协议层面而非模型层面。
子词分词器（如BPE、WordPiece）会将E4012这类标识符拆分为E、40、12等常见片段，导致精确字符信息被稀释，使标识符在嵌入空间中失去区分度。
不同模型的tokenizer各不相同，如BPE、WordPiece。
子词分词将单词切成更小的片段，常见算法有 BPE、WordPiece 和 Unigram，SentencePiece 是其中一种与语言无关的工程实现。
在bert-base-uncased的一次热态英文编码中，归一化（Normalization）消耗了88%的编码时间，而WordPiece只占8%。
BAAI/bge-small-en-v1.5使用WordPiece分词器，会把snake_case和camelCase拆成无意义的片段。
WordPiece分词器的##前缀标记子词的后半部分，例如gatito被切成ga、##ti、##to，而gato也包含##to，导致查询和文档间出现共享token，产生虚假相似度。
Tokenizer负责将原始文本切分为模型可处理的token序列，主流方案包括BPE、WordPiece和SentencePiece
三种分词算法的选择在词表大小、罕见词覆盖率和跨语言泛化能力之间形成不同的权衡
还有 5 条时间轴事件
全部知识事实 (16)
现代LLM普遍采用BPE（字节对编码）或WordPiece算法进行分词
80%已验证子词分词将单词切成更小的片段，常见算法有 BPE、WordPiece 和 Unigram，SentencePiece 是其中一种与语言无关的工程实现。
65%已验证不同模型使用不同的分词方案（如BPE、SentencePiece等），同样一段文本在不同模型中被计量的token数可能不同
65%待验证研究者对另外四个VLM、覆盖三个分词器家族做了四读数审计，结论是Yes/No读数混淆属于协议层面而非模型层面。
50%待验证把LLaVA-1.5的token ID原样移植到两个词表不相交的模型上，F1直接跌到0.00；而使用分词器派生的读数，F1稳定保持在0.80到0.92之间。
50%待验证子词分词器（如BPE、WordPiece）会将E4012这类标识符拆分为E、40、12等常见片段，导致精确字符信息被稀释，使标识符在嵌入空间中失去区分度。
50%待验证不同模型的tokenizer各不相同，如BPE、WordPiece。
50%待验证在bert-base-uncased的一次热态英文编码中，归一化（Normalization）消耗了88%的编码时间，而WordPiece只占8%。
50%待验证BAAI/bge-small-en-v1.5使用WordPiece分词器，会把snake_case和camelCase拆成无意义的片段。
50%待验证WordPiece分词器的##前缀标记子词的后半部分，例如gatito被切成ga、##ti、##to，而gato也包含##to，导致查询和文档间出现共享token，产生虚假相似度。
50%待验证Tokenizer负责将原始文本切分为模型可处理的token序列，主流方案包括BPE、WordPiece和SentencePiece
50%待验证WordPiece由Google提出并被BERT采用，其合并准则最大化语言模型的似然度而非单纯统计频次
50%待验证三种分词算法的选择在词表大小、罕见词覆盖率和跨语言泛化能力之间形成不同的权衡
50%待验证WordPiece以最大化语言模型似然为目标来决定合并策略
50%待验证主流子词分词器（如BPE、WordPiece）会将同一单词的不同书写形式（如hello、Hello、HELLO、Héllo）当作彼此不相关的独立词表条目
50%待验证固定词表规模通常为3万至10万条目
50%