#tokenization

ttok 1.0 发布：默认分词器转向 GPT-5/GPT-6

ttok 1.0 正式发布，默认分词器从 GPT-4 切换为 GPT-5/GPT-6。本文分析这一改动背后的实验依据，以及开发者在使用 token 计数工具时需要注意的风险。