批量推理
在单次模型调用中同时传入多条独立任务并返回对应结果的推理方式，要求输出结构与输入顺序严格对齐。
核心事实
时间轴 (近 90 天)
批量推理（Batch Transform）不常驻服务，对一批数据一次性完成推理后释放资源，适合离线打分、周期性报表等场景，成本通常更低。
批量推理指在一次模型调用中同时传入多条独立任务，模型需返回与输入一一对应的结果，这与传统机器学习中的batch size概念不同。
批量推理要求输出结构必须严格对齐输入顺序，且模型不能因上下文变长而降低对单条的判别力。
批量模式将请求数压缩到个位数，可绕开RPM瓶颈并分摊系统提示词的固定开销，降低单条平均成本。
在线推理要求低延迟、高并发，厂商需预留 GPU 资源应对突发流量，单位成本较高；批量推理允许任务排队、错峰执行，单价更低。
批量推理档位的降价通常出现在厂商调度算法优化、推理框架升级（如 vLLM、TensorRT-LLM 等）或新一代 GPU 部署之后。
批量推理将多个用户请求合并为一个批次在同一次 GPU 前向传播中处理，从而摊薄固定开销提升硬件利用率
当同一套权重为循环次数不同的请求服务时，不同请求完成时间会错位，拉平不同档位模型的表观吞吐速度
全部知识事实 (8)
在线推理要求低延迟、高并发，厂商需预留 GPU 资源应对突发流量，单位成本较高；批量推理允许任务排队、错峰执行，单价更低。
75%待验证批量推理（Batch Transform）不常驻服务，对一批数据一次性完成推理后释放资源，适合离线打分、周期性报表等场景，成本通常更低。
50%待验证批量推理指在一次模型调用中同时传入多条独立任务，模型需返回与输入一一对应的结果，这与传统机器学习中的batch size概念不同。
50%待验证批量推理要求输出结构必须严格对齐输入顺序，且模型不能因上下文变长而降低对单条的判别力。
50%待验证批量模式将请求数压缩到个位数，可绕开RPM瓶颈并分摊系统提示词的固定开销，降低单条平均成本。
50%待验证批量推理档位的降价通常出现在厂商调度算法优化、推理框架升级（如 vLLM、TensorRT-LLM 等）或新一代 GPU 部署之后。
50%待验证当同一套权重为循环次数不同的请求服务时，不同请求完成时间会错位，拉平不同档位模型的表观吞吐速度
50%待验证批量推理将多个用户请求合并为一个批次在同一次 GPU 前向传播中处理，从而摊薄固定开销提升硬件利用率
50%