[控场AI]
产品

Humming

vLLM 生态中处理量化相关计算的依赖组件,负责底层数值精度计算,被多个推理模块依赖使用

时间轴 (近 90 天)

10月15日

vLLM v0.32.0rc1 的核心改动包括更新 Humming 依赖和移除此前为 NVFP4 引入的 scale workaround。

待验证50%
10月15日

Humming 是 vLLM 生态中处理量化相关计算的依赖组件。

待验证50%
10月15日

若发现精度偏离超出预期,回退依赖版本并逐层比对激活分布比改框架代码更稳妥。

待验证50%
9月17日

vLLM 的 Humming 后端现已能够运行 Chord 内核

待验证50%
9月17日

在 H200 TP8 配置下,相较于经过调优的公开 Humming 版本,Chord 实现了 1.33 倍的内核性能提升

待验证50%
9月17日

H200 上的基准对比对象是已调优的公开 Humming,而 B300 上的对比对象是未调优的默认实现

待验证50%

全部知识事实 (6)

来源文章