LLM API

API计费通常区分输入token与输出token，多轮对话中前几轮的输出会成为后续轮次的输入被重复计费

传统API网关处理的请求-响应周期通常在50到200毫秒内完成，而LLM API经常需要保持连接30到120秒。

LLM的API按token计费，大约每个英文单词对应1-2个token，中文每个字约1-2个token

2023年以来，主流LLM的API价格已下降超过90%

调用第三方LLM API的AI产品数据流向通常经历「用户设备→产品服务器→LLM服务商」三个节点，每个节点都存在独立的安全风险面

大模型API普遍采用token作为计费单位，并区分输入token和输出token，输出token价格通常更高

桌宠程序通常不包含大语言模型权重，而是通过HTTP请求调用云端或本地部署的LLM服务（如OpenAI API、Ollama等）。

本地 Agent 将执行层放在用户自己的电脑上，指令解析后直接调用本地文件系统和操作系统接口，数据可不出本机，但受限于本地算力，通常需依赖外部 LLM API 完成语义理解。

LLM API是桌宠对话能力的来源，程序通过API Key调用LLM生成回复文本，再将动作意图送入T2M模型生成骨骼动画。

在 LLM API 场景下，502/503 通常对应网关后端不可用或过载，504 对应推理排队超时，500 则多为内部异常。

构建最小可行Agent的起步方法：选择一个定时触发场景，接入一个免费LLM API做简单判断，再通过通知工具输出结果。

对于 LLM API，可重试错误包括 429、5xx 和超时，不可重试错误包括 400 参数错误和 401 鉴权失败。

免费层LLM API的限制通常分布在四个层面：请求配额、响应大小、模型能力和用量追踪。

学习Agentic AI应从直接使用LLM API开始，掌握温度、最大token数等参数控制、结构化提示工程和函数调用机制。

调用LLM API时边际成本随请求量线性增长，而本地编译后的决策逻辑单次执行边际成本接近于零，主要开销转为一次性的编译与验证投入。

提示缓存（Prompt Caching）对已处理过的输入token只收取十分之一的价格，是现代LLM API上杠杆率最高的成本优化手段之一。

在生产环境中调用 LLM API 需要加入重试和清晰的失败路径，例如对 HTTP 429 状态码采用指数退避重试。

LLM API可用性探针向最便宜的模型发送一个10 token的提示词「回复OK」，要求响应在30秒内到达，可捕获API整体故障、密钥过期以及缓慢降级。

作者的金丝雀每月LLM调用花费约0.4美元，720次运行，每次只用一个最便宜模型处理10个token。

UplinkSwitch 聚合平台从自身 API 网关的实时目录中提取了 11 家开发者的 66 款有官方标价的聊天模型，66 款模型在输入和输出两侧都低于官方列表价，最大差价达到 95%。