Model Runner V2
vLLM框架的第二代模型运行引擎,对底层调度逻辑、内存管理和批处理策略进行了全面重构,自v0.29.0起成为所有模型的默认运行时
时间轴 (近 90 天)
vLLM 发布了 v0.31.0rc3 候选版本,核心亮点是为 Model Runner V2 引入随机化虚拟输入(Randomized Dummy Inputs)支持
v0.30.0 推出全新的 Model Runner V2,将 EAGLE3 风格的草稿生成引入流水线并行
vLLM v0.29.0版本中Model Runner V2正式成为所有模型的默认运行引擎
建议正在生产环境使用vLLM的团队在升级前评估默认引擎切换可能带来的行为变化,并在测试环境验证吞吐与延迟指标
Model Runner V2 在 vLLM v0.28.0 中获得了 E/P/D 分离(Encode/Prefill/Decode 解耦部署)和权重卸载两项能力
Model Runner V2(MRV2)能力扩展至非生成式工作负载,支持仅编码器注意力、序列池化、BGE-M3 池化及 CPU 上运行多模态
全部知识事实 (6)
v0.30.0 推出全新的 Model Runner V2,将 EAGLE3 风格的草稿生成引入流水线并行
50%待验证建议正在生产环境使用vLLM的团队在升级前评估默认引擎切换可能带来的行为变化,并在测试环境验证吞吐与延迟指标
50%待验证Model Runner V2 在 vLLM v0.28.0 中获得了 E/P/D 分离(Encode/Prefill/Decode 解耦部署)和权重卸载两项能力
50%待验证Model Runner V2(MRV2)能力扩展至非生成式工作负载,支持仅编码器注意力、序列池化、BGE-M3 池化及 CPU 上运行多模态
50%待验证vLLM 发布了 v0.31.0rc3 候选版本,核心亮点是为 Model Runner V2 引入随机化虚拟输入(Randomized Dummy Inputs)支持
50%待验证vLLM v0.29.0版本中Model Runner V2正式成为所有模型的默认运行引擎
50%