产品
Humming
vLLM 生态中处理量化相关计算的依赖组件,负责底层数值精度计算,被多个推理模块依赖使用
时间轴 (近 90 天)
10月15日
vLLM v0.32.0rc1 的核心改动包括更新 Humming 依赖和移除此前为 NVFP4 引入的 scale workaround。
待验证50%
10月15日
Humming 是 vLLM 生态中处理量化相关计算的依赖组件。
待验证50%
10月15日
若发现精度偏离超出预期,回退依赖版本并逐层比对激活分布比改框架代码更稳妥。
待验证50%
9月17日
vLLM 的 Humming 后端现已能够运行 Chord 内核
待验证50%
9月17日
在 H200 TP8 配置下,相较于经过调优的公开 Humming 版本,Chord 实现了 1.33 倍的内核性能提升
待验证50%
9月17日
H200 上的基准对比对象是已调优的公开 Humming,而 B300 上的对比对象是未调优的默认实现
待验证50%
全部知识事实 (6)
待验证
vLLM v0.32.0rc1 的核心改动包括更新 Humming 依赖和移除此前为 NVFP4 引入的 scale workaround。
50%待验证Humming 是 vLLM 生态中处理量化相关计算的依赖组件。
50%待验证若发现精度偏离超出预期,回退依赖版本并逐层比对激活分布比改框架代码更稳妥。
50%待验证在 H200 TP8 配置下,相较于经过调优的公开 Humming 版本,Chord 实现了 1.33 倍的内核性能提升
50%待验证H200 上的基准对比对象是已调优的公开 Humming,而 B300 上的对比对象是未调优的默认实现
50%待验证vLLM 的 Humming 后端现已能够运行 Chord 内核
50%