#vLLM
共 54 篇相关文章
vLLM新加坡Meetup：聚焦高吞吐推理与Agent基建
vLLM 新加坡 Meetup 将于 11 月 13 日在 SQ Collective 举办，inferact、NVIDIA、阿里云与 vLLM-Omni 社区工程师将分享高吞吐 prefill、强化学习、Blackwell、Vera Rubin、Agent 基础设施与交互式世界模型等推理栈话题。
vLLM 实现 MiniMax M3.1 Flash 首日支持：面向自动化与…
vLLM 实现 MiniMax M3.1 Flash 首日支持：面向自动化与视觉推理的工程优化
vLLM 宣布对 MiniMax M3.1 Flash 提供 Day-0 支持，该模型面向多步自动化、真实代码库工程与视觉推理，服务栈集成原生 NVFP4 KV 缓存、NVFP4 MoE 权重与 DSpark 投机解码，本文解读其工程优化与部署要点。
vLLM 维护者 PyTorch 大会聚餐：高吞吐烤肉与零延迟干杯
vLLM 维护者在 PyTorch Conference 期间举办聚餐，推文用高吞吐、零延迟的技术梗形容烤肉与饮品，感谢社区推动项目前进。本文介绍聚会背景与 vLLM 社区文化。
MiniMax M3.1 Flash 落地生产：开源推理生态的里程碑
MiniMax M3.1 Flash 已在生产环境大规模运行，由 @inferact 提供带 SLA 保障的推理服务，工程改进回流 vLLM 上游。本文分析其对开源推理生态的意义及对开发者选型的启示。
vLLM追平DeepSeek自研引擎DeepInfer：解码性能背后的技术博弈
vLLM在DeepSeek-V4.1-Flash解码配置下性能追平DeepSeek自研引擎DeepInfer，仅用DEP32并行策略对抗EP64DP64。本文分析这一进展的技术背景、对开发者的实际意义以及开源协作如何缩小推理引擎差距。
vLLM 在 AgentX 上跑出最佳成绩：破 DeepSeek 推理纪录
vLLM 在 AgentX 基准测试中用真实 agentic 负载跑出 DeepSeek-V4.1-Flash 最佳成绩，实现 954K tokens/s/GPU 吞吐和每 GPU 小时 38.96 美元收入，追平 DeepInfer 性能。
vLLM v0.33.0rc1 修复 DGX Spark 上的 NVFP4 解码测试选择器
vLLM v0.33.0rc1 通过 PR #64107 修复 DGX Spark 平台上过期的 NVFP4 解码测试选择器。本文解析这一 CI 改动背后的低精度量化测试矩阵膨胀、发布分支回迁策略与新硬件适配的隐性风险。
vLLM v0.33.0rc0 发布：CUDA 性能剖析修复与 MRV2 优化
vLLM 发布 v0.33.0rc0 候选版本，主要修复 MRV2 在 CUDA 环境下跳过自适应验证成本剖析的问题。本文解读该 Bugfix 的含义、对推理部署的影响及升级注意事项。
DeepInfer开源：DeepSig生产级推理引擎深度解析
DeepSig开源生产级推理引擎DeepInfer，基于vLLM构建，兼容NVIDIA SM10与昇腾950 NPU，单集群日处理155万亿Token、缓存命中率96%。本文解析其自研内核、调度机制与离线引擎的局限。
Qwen4-27B 意外曝光：vLLM PR 泄露新模型线索
Reddit 社区发现 vLLM XPU 仓库 PR 疑似泄露 Qwen4-27B 线索，涉及 KV cache 规格与 Intel 平台适配，本文梳理 PR 信息、社区反应及对开发者的参考价值。
自建推理栈：专用GPU上跑生产级AI Agent的实战指南
基于Akamai技术工作坊实录，详解如何在专用GPU上自建生产级AI Agent推理栈：vLLM部署、显存预算、FP8量化实测收益、投机解码避坑与并发调优方法。
vLLM双向KV传输优化多轮Agent TTFT
vLLM推出双向KV缓存传输机制，让prefill与decode节点跨轮复用上下文，多轮Agent场景下Qwen3-32B的TTFT提升1.6倍，GLM-5-FP8提升3.3倍，本文解析其工作机制与实测数据。
vLLM推出基于推送的KV传输：分离式推理TTFT提升3倍
vLLM 推出基于推送的 NIXL 连接器，优化分离式推理中的 KV 缓存传输。在 Amazon EC2 P5en 与 AWS EFA 上，TTFT 提升高达 3 倍，TPOT 改善 30%。
vLLM P/D分离：KV传输成本决定收益的计算法则
vLLM预填充/解码分离是否值得？本文拆解KV缓存传输的字节计算与带宽比值，给出70B模型在100GbE到400Gb链路下的开销占比，并提供p99 ITL测量脚本与选型决策表。
一个参数让128K上下文塞进4090：FP8 KV缓存量化实战
详解vLLM的FP8 KV缓存量化：一个参数让7B模型64K上下文塞进24GB的4090，显存减半、成本降至四分之一，附128K场景的显存计算与精度校准注意事项。
GPUStack vLLM生产部署：KV Cache固定与OOM规避实战
基于四节点混合GPU集群的真实运维经验，详解GPUStack与vLLM生产部署中KV Cache固定、70B模型OOM规避、TTFT与RSS衰减排查的实战参数与决策边界。
vLLM temperature=0 竟非确定：200条评测23条翻转
vLLM temperature=0 并不保证确定性。连续批处理改变 GPU kernel 归约顺序，浮点加法不满足结合律，200条评测中23条回答翻转。本文解析根因并给出串行化、语义判分、logprob 差距监控等可复现评测方案。
vLLM发布v0.32.1rc0：为训练器新增权重传输HTTP协议文档
vLLM发布v0.32.1rc0候选版本，核心改动是为训练器补充weight-transfer HTTP协议文档，本文解读该协议在RL权重同步中的作用、版本属性及不同用户的升级建议。
