待验证50% 置信事实精确时间
SentencePiece由Google的Kudo和Richardson在2018年提出，将输入文本视为原始字符流，不依赖预分词步骤
1
来源数
50%
置信度
长期有效
时效性
2026/8/8
首次发现
来源
相关事实
待验证现代 LLM 使用子词分词算法，最常见的包括 OpenAI 提出的 BPE 和 Google 提出的 SentencePiece62% 相似待验证OpenAI 使用 tiktoken 分词算法，Google 使用 SentencePiece 分词算法62% 相似待验证2018年Google发布的BERT引入双向上下文编码，Sentence-BERT专为句子级语义相似度优化61% 相似待验证递归字符分块是LangChain的默认方案，会依次尝试按段落、句子、词语等层级边界切分以优先保留语义完整性58% 相似待验证Big Words的开发起因是Simon Willison的macOS演示工具只接受URL作为输入，他需要一种方式添加纯文字幻灯片56% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/707211API
curl https://kongchang.com/api/v1/knowledge/claims/707211MCP
get_claim(id=707211)