SGLang
SGLang（Structured Generation Language）是一个面向大型语言模型的开源推理框架，旨在提升LLM服务的执行效率与编程灵活性。其核心特性包括：通过RadixAttention实现KV缓存的高效复用、支持结构化输出约束（如JSON模式）、以及提供简洁的前端编程接口用于构建复杂的多步骤推理流程。SGLang兼容多种主流模型架构及GPU硬件，适用于学术研究与生产环境下的高性能推理部署。
核心事实
时间轴 (近 90 天)
vLLM和SGLang在Mistral Large 4发布当天即完成适配。
在线推理系统的调度层通常与公司的监控体系、发布系统、容量规划工具深度绑定，难以剥离为通用开源组件；业界vLLM、SGLang等开源框架提供调度骨架，但生产级全局路由、弹性扩缩和故障转移基本由各公司自建。
事故根源在于推理引擎对共享 KV 缓存内存页的管理方式，而非模型本身或开发方 z.ai。
SGLang 的 split-prefill-decode 模式在遇到超长提示时，将过长的输入替换为单 token 占位符继续传递，导致只有第一页被写入，其余内存页保留先前请求的残留内容。
SGLang 在事后说明中表示，上下文长度与 KV 池的不匹配使拒绝路径变得可达；单节点模式下会正常返回错误，只有在特定部署模式下才触发该问题。
Cloudflare 建议使用 SGLang 的团队升级到 0.5.22 或更高版本，并在每个节点上比对 KV 池容量与上下文长度配置是否匹配。
在 Hacker News 上，有评论者认为标题不应将矛头指向 GLM 5.3，因为模型本身和开发方并非事故原因，问题出在推理引擎的部署配置上。
SGLang 0.5.22版本在入口处增加了长度校验，使超长提示词在预留任何页面之前就被拒绝。
Cloudflare的修复措施包括：将page pool扩容到超过模型上下文窗口；SGLang在入口处拒绝超长提示词（随0.5.22版本发布）；在页面归还时执行清零（截至视频发布仍为草稿）。
Cloudflare提出的修复PR 38704被关闭且未合并，SGLang维护者的相关修复38935已于9月16日合入。
还有 40 条时间轴事件
全部知识事实 (20)
SGLang的核心创新是RadixAttention技术，通过前缀树结构实现KV Cache的自动复用
85%已验证SGLang 是由 UC Berkeley 等机构研究人员开发的专为大语言模型推理设计的高性能框架
80%已验证DeepInfer的LLM类文件头标注'Derived from vLLM, Modified by DeepSeek'，表明其基于vLLM构建，并参考了SGLang和TensorRT-LLM。
75%已验证推理栈是大模型部署中介于硬件与业务应用之间的软件层，涵盖模型加载与权重分片、KV Cache 管理、连续批处理、量化推理及请求调度等模块
75%已验证SGLang（Structured Generation Language）是一个面向大语言模型和视觉语言模型的高性能服务框架
75%已验证SGLang 的 RadixAttention 技术能够在多个请求之间自动复用 KV Cache，通过基数树结构管理共享前缀以减少重复计算
75%已验证SGLang 通过 RadixAttention 等创新技术实现 KV Cache 的高效复用，在处理复杂多轮对话和 Agent Loop 场景时可获得数倍吞吐量提升
75%已验证推理框架是专门用于高效运行已训练大模型的软件系统，核心任务包括计算图优化、算子融合、内存管理、批处理调度以及量化推理等。
70%已验证在RTX 5070（12GB显存）配置下，本地Qwen3 9B模型的输出速度达到约70-76 token/秒
70%已验证SGLang的核心创新RadixAttention将KV缓存组织为前缀树结构，使具有公共前缀的多个请求能够共享缓存
70%已验证vLLM团队将DeepSeek开源的新内核集成到了推理引擎中，使底层计算效率得到进一步提升
65%已验证SGLang 是由学术界与工业界联合开发的高性能大模型推理框架，其核心机制是 RadixAttention
65%已验证DeepGEMM是DeepSeek专为其MoE模型设计的高性能矩阵乘法库，支持bf16和fp8等低精度格式
65%待验证SGLang由斯坦福团队开发，专注于结构化输出和复杂推理链的高效执行
90%待验证SGLang由UC Berkeley LMSYS团队开发，于2024年初开源
85%待验证NIXL是SGLang用于Prefill-Decode分离部署的关键通信组件，负责在Prefill节点和Decode节点之间传输KV Cache状态
85%待验证SGLang由UC Berkeley团队主导开发，是目前与vLLM并列的两大主流开源LLM推理框架之一
85%待验证SGLang通过优化的张量传输协议和零拷贝技术降低KV Cache跨节点迁移延迟
85%待验证SGLang的RadixAttention对于共享系统提示（system prompt）的场景可带来数倍吞吐量提升
75%待验证通过在H2D前将CPU权重视图复制到连续存储，完整模型加载时间从约35分钟降至6分20秒，实现5.6倍加速
70%