待验证50% 置信事实精确时间
Continuous Batching采用迭代级调度，在每一个解码步做调度决策，是高并发处理能力的关键技术之一
1
来源数
50%
置信度
长期有效
时效性
2026/9/10
首次发现
来源
涉及实体
相关事实
待验证Continuous Batching在迭代级别管理批次，每完成一轮token生成即检查是否有请求完成并将空位分配给新请求，吞吐量相比静态批处理可提升数倍79% 相似待验证在某些场景下（如取模运算的特殊组合），手动优化仍能超越编译器的自动常数除法转换71% 相似待验证Continuous Batching（连续批处理）替代传统的Static Batching，允许新请求在当前batch中动态插入，减少GPU空闲等待69% 相似待验证Prompt优化技术包括思维链提示（Chain-of-Thought）、自洽性、ReAct模式以及结构化输出69% 相似待验证Ring Attention等分布式序列并行方案将超长序列切分到多个设备上协同处理68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/891408API
curl https://kongchang.com/api/v1/knowledge/claims/891408MCP
get_claim(id=891408)