NVFP4
NVFP4是NVIDIA针对Blackwell架构推出的一种4位浮点(FP4)数值量化格式,属于低精度数值表示标准。该格式专为深度学习推理和训练场景设计,通过降低数值位宽来减少内存占用和计算开销,同时相较于传统整数量化格式在数值表达范围和精度损失控制上具有一定优势,主要用于大规模神经网络模型的高效部署与加速计算。
核心事实
时间轴 (近 90 天)
Mistral Large 4 提供基于英伟达 Blackwell 架构的 NVFP4 量化版本,官方称其为无损量化。
NVFP4 采用块级共享缩放因子来扩展可表示动态范围,适用于权重和激活值分布较集中的场景。
Nemotron 3.5 Transcribe的权重以BF16、FP8和NVFP4三种精度开放。
该版本包含一项 CI 修复:针对 DGX Spark 平台上 NVFP4 解码测试选择器的过期问题进行了修正(PR #64107)。
DGX Spark 的 NVFP4 解码路径与数据中心 GPU 存在差异,因此需要独立的测试配置与用例筛选逻辑。
NVFP4 借助更细的块粒度和浮点缩放,在激活值分布跨度较大的层中能更好地保留小数值信息,因此在同等 4 比特位宽下往往比 INT4 的困惑度损失更小。
NVFP4 需要 GPU 具备第五代 Tensor Core 的 FP4 支持才能发挥硬件加速,老一代显卡只能以反量化方式模拟运行,速度收益会大打折扣。
有人在单张NVIDIA RTX 6000 Pro上以NVFP4精度运行Qwen3.8-Flash-Next模型,推理速度达到184 tok/s。
MLX框架在转换之前拒绝直接创建Flint的NVFP4权重,Flint的NVFP4权重需要经过特定转换流程而非在导入阶段直接实例化。
框架选择先组装专家库再执行NVFP4转换,以避免在数据不完整时直接实例化目标格式导致精度损失或转换失败。
还有 40 条时间轴事件
全部知识事实 (20)
NVFP4是NVIDIA推出的4位浮点(FP4)量化格式,专为Blackwell架构GPU的硬件加速能力设计
90%已验证NVFP4是一种4位浮点量化格式,用于在保持模型精度的同时降低显存占用和提升推理吞吐
75%已验证NVIDIA 在 Blackwell 架构(SM 100/103,如 B100、B200 系列)中为 NVFP4 设计了专用 Tensor Core 指令 mma.kind::mxf4,并采用每 16 个元素为一组的 FP8 缩放因子机制
75%已验证在RTX 5070(12GB显存)配置下,本地Qwen3 9B模型的输出速度达到约70-76 token/秒
70%已验证NVFP4是NVIDIA推出的4位浮点格式(FP4),采用浮点表示(包含符号位、指数位和尾数位)以非均匀方式覆盖数值空间
65%已验证Unsloth团队发布了基于Dynamic v3量化方案的全新Qwen3.8-27B GGUF模型,在保持相同模型体积的前提下实现额外10%的top-1%精度提升
85%待验证NVFP4量化需要50系列NVIDIA显卡才能使用
85%待验证在非50系显卡上使用NVFP4会退化为软件模拟,导致显存占用大、精度差,无任何优势
85%待验证NVFP4量化在Blackwell架构上相比FP16吞吐量提升约40-50%
80%部分验证816B 参数的 Muse Spark Open 经 NVFP4 量化后约占用 493GB 内存,FP16 存储则需超过 1.6TB。
80%部分验证NVFP4 每个参数占 4 位,即 0.5 字节,理论上权重显存占用和加载带宽相比 FP8 减半。
75%待验证Mistral Large 4 提供基于英伟达 Blackwell 架构的 NVFP4 量化版本,官方称其为无损量化。
50%待验证NVFP4 采用块级共享缩放因子来扩展可表示动态范围,适用于权重和激活值分布较集中的场景。
50%待验证Nemotron 3.5 Transcribe的权重以BF16、FP8和NVFP4三种精度开放。
50%待验证DGX Spark 的 NVFP4 解码路径与数据中心 GPU 存在差异,因此需要独立的测试配置与用例筛选逻辑。
50%待验证NVFP4 借助更细的块粒度和浮点缩放,在激活值分布跨度较大的层中能更好地保留小数值信息,因此在同等 4 比特位宽下往往比 INT4 的困惑度损失更小。
50%待验证NVFP4 需要 GPU 具备第五代 Tensor Core 的 FP4 支持才能发挥硬件加速,老一代显卡只能以反量化方式模拟运行,速度收益会大打折扣。
50%待验证有人在单张NVIDIA RTX 6000 Pro上以NVFP4精度运行Qwen3.8-Flash-Next模型,推理速度达到184 tok/s。
50%待验证框架选择先组装专家库再执行NVFP4转换,以避免在数据不完整时直接实例化目标格式导致精度损失或转换失败。
50%待验证MLX框架在转换之前拒绝直接创建Flint的NVFP4权重,Flint的NVFP4权重需要经过特定转换流程而非在导入阶段直接实例化。
50%