Token
Token是自然语言处理和大语言模型中文本的基本处理单元，由分词器（Tokenizer）将原始文本切分而成，可对应一个单词、子词、字符或标点符号。模型在处理输入和生成输出时均以Token为单位进行计算，Token数量直接影响模型的上下文窗口限制、推理速度及API调用费用。不同语言和模型的Token划分规则存在差异。
核心事实
时间轴 (近 90 天)
以Token消耗量作为考核指标极易被刷量操控，脚本可在不产生业务价值的情况下制造天文数字级别的Token消耗，这是该排行榜机制的根本性缺陷
将用户过去数周乃至数月的操作历史原封不动塞入上下文窗口会导致 token 消耗呈线性甚至指数级增长
更少的输入Token通常意味着更低的处理延迟
Token是登录验证的核心载体，登录成功后后端生成随机字符串返回前端，前端保存在localStorage中，每次请求带上该token供后端验证
大模型生成文本时不是一次性生成整句话，而是一个一个token地生成，不断预测下一个token并加入上下文循环往复
Agent工程实践的常见坑包括Token成本控制、上下文和记忆裁剪、工具调用防出错、数据安全保障
Token成本优化策略包括对长期记忆做压缩摘要、设置分级响应逻辑（简单互动用轻量模型关键剧情用高性能模型）、将世界观校验拆分为低成本分类任务
带完整记忆分层的游戏Agent单次交互可能达到数千乃至上万Token，成本是裸Prompt调用的数倍到数十倍
Token生成量通常被视为衡量大模型真实使用负载的核心指标之一
拥有庞大的Token调用量并不必然等同于高额营收
还有 40 条时间轴事件
全部知识事实 (20)
Token是大语言模型处理文本的基本单位，大约对应0.75个英文单词或1.5个汉字
90%已验证GPT-4o的输入Token价格约为每百万Token 2.5美元，输出Token约为每百万Token 10美元
80%已验证Claude 3.5 Sonnet的API定价约为每百万输入Token 3美元、每百万输出Token 15美元
80%已验证大模型API中输出Token的单价通常是输入Token的2-4倍
80%已验证标准自回归语言模型的词表通常包含32,000到128,000个token
75%已验证大模型API的定价通常基于Token计费机制
70%已验证大模型本质上是基于概率的文本生成器，通过预测下一个token来生成内容
70%已验证主流顶级闭源模型的输出价格往往是输入价格的3到5倍，部分旗舰模型输出价格高达每百万Token 15美元以上
65%已验证Tokens are the basic unit of measurement for how large language models process text, roughly equivalent to 3/4 of a word in English or 1-2 characters in Chinese
65%已验证大模型输出 Token 单价普遍高于输入 Token
65%已验证英文中一个令牌约对应0.75个单词
65%已验证长对话会将整个上下文历史打包重新发送给模型，并计入每次请求的Token用量，对话越长单次请求消耗Token越多
65%已验证当Agent处于循环状态时，每次调用会携带累积的对话历史，导致Token消耗随迭代次数线性甚至超线性增长
65%已验证大模型的核心原理是概率文字接龙，输出结果是概率采样而非确定性输出
65%已验证同样的中文文本在不同大模型服务商处消耗的 Token 数量可能相差 30%-50%
65%已验证LLM的API按token计费，大约每个英文单词对应1-2个token，中文每个字约1-2个token
65%已验证AI Agent工作流的算力消耗可能是单轮对话的50到100倍以上
65%待验证In large language models, a Token is the smallest unit of text that a model processes
95%待验证A single English word may be split into one or more Tokens, while Chinese characters typically correspond to one or two Tokens
90%待验证Output Tokens are typically 2-4x more expensive than input Tokens because generation requires autoregressive decoding Token by Token, with each generated Token requiring a complete forward pass computation
85%