[控场AI]
已验证65% 置信事实精确时间

子词分词将单词切成更小的片段，常见算法有 BPE、WordPiece 和 Unigram，SentencePiece 是其中一种与语言无关的工程实现。

3
来源数
65%
置信度
长期有效
时效性
2026/10/16
首次发现

来源

零基础入门ArcLM：不装PyTorch也能跑通微型语言模型

涉及实体

子词分词conceptBPEconceptWordPiececonceptUnigramconceptSentencePieceproduct

相关事实

待验证主流分词算法BPE和Unigram的优化目标本质上都是压缩：在有限词表下最小化语料编码长度。79% 相似待验证Unigram 模型由 SentencePiece 库实现，从大词表出发逐步剔除对整体似然贡献最小的子词来缩减词表77% 相似已验证现代LLM普遍采用BPE（字节对编码）或WordPiece算法进行分词77% 相似已验证Token是基于BPE等子词分词算法切分出的最小语义单元，而非简单等同于一个字或词77% 相似已验证现代大模型普遍采用的字节对编码（BPE）或WordPiece算法本质上是一种数据驱动的形态学切分方法75% 相似

引用此条事实

Stable URI
https://kongchang.com/claim/1049149
API
curl https://kongchang.com/api/v1/knowledge/claims/1049149
MCP
get_claim(id=1049149)