Unigram
一种子词分词算法，假设词汇表由独立子词单元组成，通过概率模型选择最优分词方案，常用于SentencePiece工具
核心事实
时间轴 (近 90 天)
子词分词将单词切成更小的片段，常见算法有 BPE、WordPiece 和 Unigram，SentencePiece 是其中一种与语言无关的工程实现。
大多数实用分词器的切分决策是局部化的，相邻片段之间存在天然的独立边界，找到并利用这些边界可在不停用参考实现的前提下做增量分词。
论文在104种语言、200K词表设定下，将LCT与BPE、Unigram、parity-aware BPE进行了对比。
主流分词算法BPE和Unigram的优化目标本质上都是压缩：在有限词表下最小化语料编码长度。
LCT相比BPE、Unigram、parity-aware BPE，在四个多语言下游基准上的聚合得分分别提升1.48、1.83和2.00分。
SentencePiece工具库对Unigram语言模型分词有完整实现
三种分词算法的选择在词表大小、罕见词覆盖率和跨语言泛化能力之间形成不同的权衡
Unigram语言模型分词由Kudo在2018年提出，从一个大词表出发逐步剪枝，保留使语料库似然损失最小的子词集合
全部知识事实 (8)
子词分词将单词切成更小的片段，常见算法有 BPE、WordPiece 和 Unigram，SentencePiece 是其中一种与语言无关的工程实现。
65%待验证大多数实用分词器的切分决策是局部化的，相邻片段之间存在天然的独立边界，找到并利用这些边界可在不停用参考实现的前提下做增量分词。
50%待验证论文在104种语言、200K词表设定下，将LCT与BPE、Unigram、parity-aware BPE进行了对比。
50%待验证主流分词算法BPE和Unigram的优化目标本质上都是压缩：在有限词表下最小化语料编码长度。
50%待验证LCT相比BPE、Unigram、parity-aware BPE，在四个多语言下游基准上的聚合得分分别提升1.48、1.83和2.00分。
50%待验证SentencePiece工具库对Unigram语言模型分词有完整实现
50%待验证三种分词算法的选择在词表大小、罕见词覆盖率和跨语言泛化能力之间形成不同的权衡
50%待验证Unigram语言模型分词由Kudo在2018年提出，从一个大词表出发逐步剪枝，保留使语料库似然损失最小的子词集合
50%