已验证75% 置信解决方案精确时间

连续批处理（Continuous Batching）允许推理引擎在单次前向传播中动态合并多个请求，以最大化 GPU 利用率

3

来源数

75%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

GLM-5.1-highspeed：400 tokens/秒的速度革命

涉及实体

Continuous Batchingtechnology

相关事实

已验证连续批处理允许在任意迭代步插入新请求、移除已完成请求，使GPU在每一步保持满负荷运转79% 相似已验证连续批处理（Continuous Batching）允许新请求在飞行中插入已有批次，由vLLM、TensorRT-LLM等推理引擎实现76% 相似已验证连续批处理（Continuous Batching）采用迭代级别的调度粒度，每完成一个 token 生成便可移出已完成请求并插入新请求75% 相似待验证大模型服务商通常采用批处理技术提高吞吐量，连续批处理允许新请求动态插入正在处理的批次，而静态批处理需等待完整批次处理完毕74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/913975

API

curl https://kongchang.com/api/v1/knowledge/claims/913975

MCP

get_claim(id=913975)