BPE
一种主流LLM分词算法，源于数据压缩领域，通过迭代合并高频相邻字符对构建子词词表，能自然处理未登录词问题
核心事实
时间轴 (近 90 天)
在BPE阈值模型下，似然比检验会给那些在背景语料中罕见但在候选数据集中频繁出现的Token分配最大的权重。
一旦已知Token是否存在以及数据集频率，合并排名（merge rank）和合并图位置（merge-graph position）就不应再提供一阶成员信号。
词表设计（如使用BPE合并粒度）不仅影响计算效率，也间接影响模型的泛化难度。
主流大模型依赖分词器（如BPE算法）将文本切分为子词单元，每个token对应词表中的一个ID，词表通常包含数万到数十万条目。
字符级建模与 GPT 系列常用的 BPE 子词分词不同：子词分词能压缩序列长度、捕捉常见词片段，但需要额外训练分词器。
llama.cpp的tokenizer实现遵循SentencePiece与BPE两套主流方案，并针对GGUF内嵌的词表做了统一抽象，涵盖特殊token、字节回退、归一化规则等细节。
中文经BPE分词后大致一字一token，因此512 token约等于512个汉字。
研究者对另外四个VLM、覆盖三个分词器家族做了四读数审计，结论是Yes/No读数混淆属于协议层面而非模型层面。
把LLaVA-1.5的token ID原样移植到两个词表不相交的模型上，F1直接跌到0.00；而使用分词器派生的读数，F1稳定保持在0.80到0.92之间。
子词分词器（如BPE、WordPiece）会将E4012这类标识符拆分为E、40、12等常见片段，导致精确字符信息被稀释，使标识符在嵌入空间中失去区分度。
还有 40 条时间轴事件
全部知识事实 (20)
BPE（字节对编码）算法最初由Sennrich等人于2016年引入NLP领域，本质是一种无损数据压缩技术
85%已验证BPE算法起源于数据压缩领域，通过迭代合并高频字符对来构建词汇表
85%已验证BPE（Byte Pair Encoding）由 Sennrich 等人于 2016 年引入 NLP 领域
85%已验证主流分词器方案包括 BPE（Byte Pair Encoding）、WordPiece 和 SentencePiece
80%已验证现代LLM普遍采用BPE（字节对编码）或WordPiece算法进行分词
80%已验证OpenAI使用BPE（Byte Pair Encoding，字节对编码）算法进行Token编码
80%已验证BPE（Byte Pair Encoding）是大语言模型使用的Token化算法，通过统计训练语料中字符对的共现频率迭代合并最常见的字符组合
80%已验证标准自回归语言模型的词表通常包含32,000到128,000个token
80%已验证GPT系列模型使用字节对编码（Byte Pair Encoding，BPE）算法将文本切分为Token
80%已验证在GPT系列模型中，一个中文汉字通常对应1到2个Token，一个英文单词大约对应1到1.5个Token
80%已验证Token是基于BPE等子词分词算法切分出的最小语义单元，而非简单等同于一个字或词
75%已验证现代大模型使用BPE或SentencePiece等分词算法构建词汇库，主流模型词汇库规模在3万到15万Token之间
75%已验证GPT系列常用的BPE字节对编码算法通过统计相邻字符对频率并合并最高频字符对来构建词汇表
75%已验证GPT系列模型采用字节级BPE（Byte-level BPE），以原始字节为基本单位消除未登录字符问题
75%已验证GPT系列和Claude系列均采用Byte-Pair Encoding（BPE）类似的分词机制
75%已验证大模型处理文本以Token（词元）为最小处理单元，由分词器完成切分
70%已验证字节对编码（BPE）由 Philip Gage 于 1994 年提出，后被 Sennrich 等人于 2016 年引入神经机器翻译领域
70%已验证子词分词将单词切成更小的片段，常见算法有 BPE、WordPiece 和 Unigram，SentencePiece 是其中一种与语言无关的工程实现。
65%已验证不同模型使用不同的分词方案（如BPE、SentencePiece等），同样一段文本在不同模型中被计量的token数可能不同
65%已验证BPE最初是一种数据压缩算法，2016年被引入NLP领域用于神经机器翻译的子词分割
65%