[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
V2架构 / Model Runner V2
Model Runner V2
vLLM框架的第二代模型运行引擎,对底层调度逻辑、内存管理和批处理策略进行了全面重构,自v0.29.0起成为所有模型的默认运行时
来源文章
vLLM v0.29.0发布:Model Runner V2成默认引擎,推理性能全面升级
9月15日