产品
tiktoken
OpenAI开发的分词库，基于BPE算法，用于ChatGPT等模型的文本分词
核心事实
时间轴 (近 90 天)
8月22日
建议在应用层独立记录 Token 消耗，使用开源 tokenizer 库（如 tiktoken）本地预计算预期 Token 数与账单交叉校验
待验证50%
8月4日
OpenAI's GPT series uses the tiktoken library, with vocabulary sizes typically ranging between 50,000 and 100,000 Tokens
待验证85%
5月31日
Token是大语言模型处理文本的基本单位，大约对应0.75个英文单词或1.5个汉字
已验证90%