SGLang
SGLang（Structured Generation Language）是一个面向大型语言模型的开源推理框架，旨在提升LLM服务的执行效率与编程灵活性。其核心特性包括：通过RadixAttention实现KV缓存的高效复用、支持结构化输出约束（如JSON模式）、以及提供简洁的前端编程接口用于构建复杂的多步骤推理流程。SGLang兼容多种主流模型架构及GPU硬件，适用于学术研究与生产环境下的高性能推理部署。
核心事实
时间轴 (近 90 天)
相比BF16基线，1.4B和2.6B的Ouro模型峰值服务吞吐分别提升了4.3倍和6.1倍。
在32K token上下文下，LoopVQ在SGLang实现中使解码延迟几乎减半。
研究团队在SGLang中实现了LoopVQ。
开源推理框架（如vLLM、TensorRT-LLM、SGLang等）通过持续吸收业界最优实践，在特定模型和硬件组合上已能实现接近商用服务的吞吐效率。
英伟达的 TensorRT-LLM、以及 vLLM、SGLang 等开源推理框架，通过连续批处理、PagedAttention 显存管理、KV Cache 复用等技术，可将吞吐提升数倍。
传统LLM推理引擎（如vLLM、SGLang）针对自回归生成优化，其核心假设是请求之间彼此独立、序列单向扩展。
在公开的混合模型和决策模型上的广泛评估显示，Flide回答查询的速度比vLLM和SGLang最高快9.5倍。
vLLM 和 SGLang 专注服务端的超高吞吐与连续批处理。
vLLM和SGLang在Mistral Large 4发布当天即完成适配。
在线推理系统的调度层通常与公司的监控体系、发布系统、容量规划工具深度绑定，难以剥离为通用开源组件；业界vLLM、SGLang等开源框架提供调度骨架，但生产级全局路由、弹性扩缩和故障转移基本由各公司自建。
还有 40 条时间轴事件
全部知识事实 (20)
SGLang的核心创新是RadixAttention技术，通过前缀树结构实现KV Cache的自动复用
85%已验证SGLang 是由 UC Berkeley 等机构研究人员开发的专为大语言模型推理设计的高性能框架
80%已验证DeepInfer的LLM类文件头标注'Derived from vLLM, Modified by DeepSeek'，表明其基于vLLM构建，并参考了SGLang和TensorRT-LLM。
75%已验证推理栈是大模型部署中介于硬件与业务应用之间的软件层，涵盖模型加载与权重分片、KV Cache 管理、连续批处理、量化推理及请求调度等模块
75%已验证SGLang 的 RadixAttention 技术能够在多个请求之间自动复用 KV Cache，通过基数树结构管理共享前缀以减少重复计算
75%已验证SGLang（Structured Generation Language）是一个面向大语言模型和视觉语言模型的高性能服务框架
75%已验证SGLang 通过 RadixAttention 等创新技术实现 KV Cache 的高效复用，在处理复杂多轮对话和 Agent Loop 场景时可获得数倍吞吐量提升
75%已验证推理框架是专门用于高效运行已训练大模型的软件系统，核心任务包括计算图优化、算子融合、内存管理、批处理调度以及量化推理等。
70%已验证在RTX 5070（12GB显存）配置下，本地Qwen3 9B模型的输出速度达到约70-76 token/秒
70%已验证SGLang的核心创新RadixAttention将KV缓存组织为前缀树结构，使具有公共前缀的多个请求能够共享缓存
70%已验证vLLM团队将DeepSeek开源的新内核集成到了推理引擎中，使底层计算效率得到进一步提升
65%已验证SGLang 是由学术界与工业界联合开发的高性能大模型推理框架，其核心机制是 RadixAttention
65%已验证DeepGEMM是DeepSeek专为其MoE模型设计的高性能矩阵乘法库，支持bf16和fp8等低精度格式
65%待验证SGLang由斯坦福团队开发，专注于结构化输出和复杂推理链的高效执行
90%待验证SGLang由UC Berkeley LMSYS团队开发，于2024年初开源
85%待验证NIXL是SGLang用于Prefill-Decode分离部署的关键通信组件，负责在Prefill节点和Decode节点之间传输KV Cache状态
85%待验证SGLang由UC Berkeley团队主导开发，是目前与vLLM并列的两大主流开源LLM推理框架之一
85%待验证SGLang通过优化的张量传输协议和零拷贝技术降低KV Cache跨节点迁移延迟
85%待验证SGLang的RadixAttention对于共享系统提示（system prompt）的场景可带来数倍吞吐量提升
75%待验证通过在H2D前将CPU权重视图复制到连续存储，完整模型加载时间从约35分钟降至6分20秒，实现5.6倍加速
70%