#tokenizer
共 2 篇相关文章
·4 分钟
印度语言Token成本惊人：印地语是英语的4.4倍，马拉雅拉姆语达7.3倍
实测发现印地语每句消耗token是英语的4.44倍，马拉雅拉姆语达7.27倍。分词器选择（Gemma-3仅1.31倍）比服务优化更影响GPU并发成本，罗马化并非通用解药。
阅读全文 →
·6 分钟
BERT分词瓶颈前移：归一化竟吞掉88%编码时间
BERT分词性能剖析显示，归一化消耗了bert-base-uncased英文编码88%的时间，WordPiece仅占8%。本文解读Simon Brandeis的优化方案：向量指令跳过ASCII、页缓存加速非ASCII脚本，正确理解5.7倍加速的基线，以及为何RAG与嵌入服务应单独测量分词开销。
阅读全文 →