[控场AI]
概念

max_tokens

大语言模型 API 中的参数,指定生成响应时使用的最大 token 数量,包括思维和输出 token

核心事实

时间轴 (近 90 天)

10月19日

上下文截断是长输入实验中最常见的混淆源,当拼接后的提示超过模型上下文窗口或服务端的max_tokens限制时,系统通常从尾部或头部静默丢弃内容。

待验证50%
10月18日

不同供应商的模型列表接口在参数命名上存在差异,例如有的用 max_tokens,有的用 max_completion_tokens。

待验证50%
10月18日

6KB 以上空输出率不是随文件大小线性上升,而是呈现悬崖式跳变:消耗一旦接近 max_tokens 上限,是否空输出取决于当次思考链长度的随机波动(方差)。

待验证50%
10月18日

在支持推理的模型中,max_tokens 限制的是可见回答与不可见思考过程(chain-of-thought)的 token 总和;当思考链占满预算时,模型没有余量输出最终答案,API 返回空内容或截断。

待验证50%
10月18日

通过直连每条路线并以 max_tokens=1 发起请求,可以最低成本获取 HTTP 状态码和错误体,用于探活检测

待验证50%
10月18日

设置 max_tokens 上限是必要的工程纪律,Agent 循环加上失控的输出长度是成本事故最常见的来源之一。

待验证50%
10月17日

OpenAI Chat Completions API 中,max_tokens 是早期字段,用于限制生成内容总 token 数;OpenAI 在 o1 系列及之后的推理模型中引入 max_completion_tokens,用于约束整次补全的 token 上限,并逐步建议新模型改用后者。

待验证50%
10月17日

Azure OpenAI 的参数支持节奏与 OpenAI 主站并不同步,部分旧部署(如 gpt-35-turbo)仍只接受 max_tokens;兼容层必须按模型族分流,否则请求可能被网关以 400 拒绝。

待验证50%
10月17日

Cline SDK v0.0.95 对 OpenAI 兼容请求的参数处理逻辑进行了修改:对于 gpt-6-sol、gpt-6.1-sol、gpt-6-1-sol 以及 gpt-5 到 gpt-9 的模型 ID,SDK 现在发送 max_completion_tokens 而不是 max_tokens,目的是让 OpenAI 和 Azure 不再拒绝这些请求。

待验证50%
10月16日

在 Anthropic 的 Claude 3.7 及之后系列中,模型的内部推理(thinking)与最终回复共享同一个 max_tokens 预算,max_tokens 是'思考 + 输出'的总量上限。

待验证50%

还有 15 条时间轴事件

全部知识事实 (20)

已验证

finish_reason 为 length 或 MAX_TOKENS 类的值意味着模型被强制打断,而非主动收尾

65%
已验证

推理模型的思考 token 通常会计入费用,设置 token 预算上限可避免单次请求成本失控

65%
待验证

上下文截断是长输入实验中最常见的混淆源,当拼接后的提示超过模型上下文窗口或服务端的max_tokens限制时,系统通常从尾部或头部静默丢弃内容。

50%
待验证

不同供应商的模型列表接口在参数命名上存在差异,例如有的用 max_tokens,有的用 max_completion_tokens。

50%
待验证

6KB 以上空输出率不是随文件大小线性上升,而是呈现悬崖式跳变:消耗一旦接近 max_tokens 上限,是否空输出取决于当次思考链长度的随机波动(方差)。

50%
待验证

在支持推理的模型中,max_tokens 限制的是可见回答与不可见思考过程(chain-of-thought)的 token 总和;当思考链占满预算时,模型没有余量输出最终答案,API 返回空内容或截断。

50%
待验证

通过直连每条路线并以 max_tokens=1 发起请求,可以最低成本获取 HTTP 状态码和错误体,用于探活检测

50%
待验证

设置 max_tokens 上限是必要的工程纪律,Agent 循环加上失控的输出长度是成本事故最常见的来源之一。

50%
待验证

Azure OpenAI 的参数支持节奏与 OpenAI 主站并不同步,部分旧部署(如 gpt-35-turbo)仍只接受 max_tokens;兼容层必须按模型族分流,否则请求可能被网关以 400 拒绝。

50%
待验证

Cline SDK v0.0.95 对 OpenAI 兼容请求的参数处理逻辑进行了修改:对于 gpt-6-sol、gpt-6.1-sol、gpt-6-1-sol 以及 gpt-5 到 gpt-9 的模型 ID,SDK 现在发送 max_completion_tokens 而不是 max_tokens,目的是让 OpenAI 和 Azure 不再拒绝这些请求。

50%
待验证

OpenAI Chat Completions API 中,max_tokens 是早期字段,用于限制生成内容总 token 数;OpenAI 在 o1 系列及之后的推理模型中引入 max_completion_tokens,用于约束整次补全的 token 上限,并逐步建议新模型改用后者。

50%
待验证

在 Anthropic 的 Claude 3.7 及之后系列中,模型的内部推理(thinking)与最终回复共享同一个 max_tokens 预算,max_tokens 是'思考 + 输出'的总量上限。

50%
待验证

最大输出token(max_tokens)是API调用时用于限制单次响应长度的参数,与上下文窗口是两个独立维度。

50%
待验证

为每个任务类型显式设置max_tokens并使用JSON模式或结构化输出约束,在旗舰模型上200 token和2000 token的输出成本差约10倍,仅此一项每月可省20到30美元。

50%
待验证

OpenAI API按模型系列衡量RPM和合并TPM,并在请求时检查估算的提示Token加上请求的max_tokens是否在剩余TPM池内

50%
待验证

推理模型产生的 reasoning tokens 与最终输出共享同一个 max_tokens 预算,即便可见回复为空字符串也会照常计费。

50%
待验证

max_tokens 是模型单次回复可生成的最大 token 数量,同时影响延迟与费用

50%
待验证

Claude Code 对 max_tokens 错误的恢复上限为三次尝试,常量名为 MAX_OUTPUT_TOKENS_RECOVERY_LIMIT = 3。

50%
待验证

temperature、top_p、max_tokens 在多数模型上通用,但某些推理模型不接受 temperature,或对 max_tokens 有特殊语义。

50%
待验证

按 token 计费的模型存在一个格式错误的 prompt 意外生成大量 token 的风险,工程防护可通过 max_tokens 硬上限、客户端 prompt 长度校验、API 调用超时守卫三层措施实现。

50%

来源文章