DeepInfer
DeepSeek开源的高性能、大规模大模型推理框架，面向DeepSeek模型的部署与推理优化，涉及KV Cache管理、批处理策略等工程优化
核心事实
时间轴 (近 90 天)
DeepInfer公开的PD分离优化将Pre-fill阶段和Decode阶段拆分到不同硬件：8卡服务器负责Pre-fill，64到128卡超节点负责Decode，GPU配比大约1比1。
按官方口径折算，DeepInfer一张卡一小时营收38美元，而B200市场租金大约8美元，相差四倍多，但这是营收对租金，未扣除电费、折旧、存储等成本。
DeepSeek开源了生产环境推理引擎DeepInfer，采用Apache 2.0协议。
DeepInfer开源本身不能保证每个人立刻感觉更快，也不能直接说明价格一定会下降。
官方说明完整在线服务所需的配套系统没有全部包含在这次公开的DeepInfer版本里。
在batch size从8到256的范围内，vLLM的解码性能与DeepInfer不相上下。
vLLM在对比中使用了DEP32的并行策略，而DeepInfer采用了EP64DP64配置。
DeepInfer中昇腾和英伟达是一等公民，TileLang算子两边各30个一一对应，还有DeepGEMM和DeepEP的昇腾版。
DeepInfer对硬件提出三个期望：专家权重用FP4、激活和KV用FP8、缩放因子用UE8M0的低精度格式；每Token的KV Cache小于1KB；瓶颈转向大规模高速互联和设备端通信。
DeepInfer开源版仅覆盖一个模型（DeepSeek V4.1 Flash）、两类硬件（英伟达SM100与昇腾950），且只支持离线推理，KV Cache存储、PD分离、负载均衡和在线服务均未包含。
还有 40 条时间轴事件
全部知识事实 (20)
DeepSeek由深度求索公司开发
80%已验证DeepInfer的LLM类文件头标注'Derived from vLLM, Modified by DeepSeek'，表明其基于vLLM构建，并参考了SGLang和TensorRT-LLM。
75%已验证DeepSeek V4.1 Flash 在 GPQA、HLE 等方面的评分低于此前版本
75%已验证DeepInfer 开源版本不是完整生产系统，未包含 KV 缓冲管理、跨机器预填充与解码分离、副本间负载均衡等与内部基础设施耦合的部分。
70%已验证DeepInfer 支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU 两类硬件。
70%已验证vLLM团队将DeepSeek开源的新内核集成到了推理引擎中，使底层计算效率得到进一步提升
65%已验证DeepSeek在7月更新日志中将内部Harness（「极简模式」）归功为V4 Flash编程基准评分的幕后功臣
65%已验证DeepSeek采用较为宽松的许可协议，允许商业化二次开发
65%已验证DeepSeek于10月20日开源了推理框架DeepInfer，为V4.1 Flash提供优化算子、多卡并行和异步调度能力，采用Apache 2.0许可。
80%部分验证DeepInfer是一个开源的SOTA（State-of-the-Art）推理系统。
70%待验证DeepSeek 单个集群每天处理 155 万亿 token，相当于每秒生成约 18 亿词。
60%待验证据 DeepSeek 披露，单个集群运行 DeepInfra 技术栈，每天可服务 155 万亿个 token。
60%待验证DeepInfer开源的是离线推理核心，完整的在线服务链路仍需自行补齐缓存层和负载均衡。
60%待验证根据视频信息，DeepInfer兼容英伟达和华为昇腾两大平台，单集群日吞吐量能达到155万亿token，每张GPU每小时能收入38美元。
60%部分验证DeepSeek 正式开源了推理框架 DeepInfer，消息从 B 站传出。
65%待验证按官方口径折算，DeepInfer一张卡一小时营收38美元，而B200市场租金大约8美元，相差四倍多，但这是营收对租金，未扣除电费、折旧、存储等成本。
50%待验证DeepInfer公开的PD分离优化将Pre-fill阶段和Decode阶段拆分到不同硬件：8卡服务器负责Pre-fill，64到128卡超节点负责Decode，GPU配比大约1比1。
50%待验证官方说明完整在线服务所需的配套系统没有全部包含在这次公开的DeepInfer版本里。
50%待验证DeepInfer开源本身不能保证每个人立刻感觉更快，也不能直接说明价格一定会下降。
50%待验证在batch size从8到256的范围内，vLLM的解码性能与DeepInfer不相上下。
50%