[控场AI]
概念V2架构 / Model Runner V2

Model Runner V2

vLLM框架的第二代模型运行引擎,对底层调度逻辑、内存管理和批处理策略进行了全面重构,自v0.29.0起成为所有模型的默认运行时

时间轴 (近 90 天)

10月1日

vLLM 发布了 v0.31.0rc3 候选版本,核心亮点是为 Model Runner V2 引入随机化虚拟输入(Randomized Dummy Inputs)支持

待验证50%
9月24日

v0.30.0 推出全新的 Model Runner V2,将 EAGLE3 风格的草稿生成引入流水线并行

待验证50%
9月15日

vLLM v0.29.0版本中Model Runner V2正式成为所有模型的默认运行引擎

待验证50%
9月15日

建议正在生产环境使用vLLM的团队在升级前评估默认引擎切换可能带来的行为变化,并在测试环境验证吞吐与延迟指标

待验证50%
9月12日

Model Runner V2 在 vLLM v0.28.0 中获得了 E/P/D 分离(Encode/Prefill/Decode 解耦部署)和权重卸载两项能力

待验证50%
9月11日

Model Runner V2(MRV2)能力扩展至非生成式工作负载,支持仅编码器注意力、序列池化、BGE-M3 池化及 CPU 上运行多模态

待验证50%

全部知识事实 (6)

来源文章