概念reasoning tokens / 推理代币
推理token
大模型在生成最终回答前内部生成的思考内容,通常不可见或单独计费,按输出费率计费
时间轴 (近 90 天)
10月24日
推理token是模型在给出最终回答前内部生成的思考内容,通常按输出费率计费,在Agent总输出中占比可能极高(示例中占账单77%)。
待验证50%
8月31日
一篇发表在OpenReview上的研究认为LLM生成的推理token本质上与人类推理无关
待验证50%
8月31日
中间token导致的上下文窗口膨胀或与压缩机制的冲突,是与推理token语义有效性完全不同的另一类问题
待验证50%