#BPB

Tokenizer三大迷思：BPB指标真的可靠吗？

Tokenizer研究揭示三大迷思：BPB并非分词器无关，低BPB不代表模型更好，所谓一致指标实则矛盾。了解分词器三难困境及其对模型评估的实践启示。