GPUStack
开源的GPU集群管理与推理平台，通过将推理后端容器化、配置可视化，支持SGLang等推理后端，提供Web界面操作，可在模型发布当天完成生产级部署
时间轴 (近 90 天)
GPUStack 是一个放置与生命周期管理层，而非推理引擎；部署模型时它选择工作节点，在底层启动 vLLM、SGLang 或 llama-box，并代理请求。
GPUStack 的 VRAM 估算基于权重体积加上声明的上下文长度，不考虑激活峰值、CUDA graph 捕获开销，也不了解实际请求分布。
在四张卡上以 TP=4 部署 Llama-3.3-70B（bf16）并保留默认 max-model-len 时，在 6k 到 8k token 的真实长请求流量下工作节点会 OOM，GPUStack 随即重启它们。
在无法使用 TP 的异构节点上，GPUStack 回退到 llama-box 与层卸载，num_gpu 60（共 80 层）在 48 GB 显存上是诚实上限，设为 80 会在第一个 4k 提示时崩溃。
原团队的四节点混合 GPU 集群吞吐量在 36 小时内衰减约 18%，而 GPU 利用率保持平稳；原因被诊断为 KV 块碎片化导致 RSS 单调上升且 TTFT p95 漂移。
原团队通过固定 --max-num-seqs 32 并基于 RSS 斜率阈值（而非固定 cron）回收工作节点，解决了 KV 块碎片化导致的吞吐衰减问题。
测试中九个不同难度的输入全部通过 demo-smart 路由，实际选中的模型与预期全部吻合
GPUStack v2.3.0rc2 预览了通过 Jev 决策服务为请求选择合适生成模型的高级路由能力
翻译、区间合并、系统设计三个任务以非流式方式各重复三次模型选择保持稳定，流式版本也选中相同模型
能力描述里的键名必须与真实候选模型名一致，不能使用路由别名或 provider 名，否则无法映射到候选
还有 4 条时间轴事件
全部知识事实 (14)
原团队通过固定 --max-num-seqs 32 并基于 RSS 斜率阈值（而非固定 cron）回收工作节点，解决了 KV 块碎片化导致的吞吐衰减问题。
50%待验证GPUStack 是一个放置与生命周期管理层，而非推理引擎；部署模型时它选择工作节点，在底层启动 vLLM、SGLang 或 llama-box，并代理请求。
50%待验证GPUStack 的 VRAM 估算基于权重体积加上声明的上下文长度，不考虑激活峰值、CUDA graph 捕获开销，也不了解实际请求分布。
50%待验证在无法使用 TP 的异构节点上，GPUStack 回退到 llama-box 与层卸载，num_gpu 60（共 80 层）在 48 GB 显存上是诚实上限，设为 80 会在第一个 4k 提示时崩溃。
50%待验证实际的请求转发、插件执行（包括调用 Jev 决策服务）和负载均衡都发生在 Higress 侧，GPUStack 负责管理模型部署与路由策略配置并同步给 Higress
50%待验证验证路由选择的唯一可靠手段是通过日志追踪，HTTP 响应本身不携带由哪个上游模型生成的信息
50%待验证测试中九个不同难度的输入全部通过 demo-smart 路由，实际选中的模型与预期全部吻合
50%待验证翻译、区间合并、系统设计三个任务以非流式方式各重复三次模型选择保持稳定，流式版本也选中相同模型
50%待验证能力描述里的键名必须与真实候选模型名一致，不能使用路由别名或 provider 名，否则无法映射到候选
50%待验证决策贡献权重是对分数的相对影响，而非流量百分比
50%待验证Higress 是阿里云开源的云原生 API 网关，基于 Envoy 构建，GPUStack 将其作为处理 AI 推理流量的网关层
50%待验证在四张卡上以 TP=4 部署 Llama-3.3-70B（bf16）并保留默认 max-model-len 时，在 6k 到 8k token 的真实长请求流量下工作节点会 OOM，GPUStack 随即重启它们。
50%待验证原团队的四节点混合 GPU 集群吞吐量在 36 小时内衰减约 18%，而 GPU 利用率保持平稳；原因被诊断为 KV 块碎片化导致 RSS 单调上升且 TTFT p95 漂移。
50%待验证GPUStack v2.3.0rc2 预览了通过 Jev 决策服务为请求选择合适生成模型的高级路由能力
50%