FP8
以8位浮点数存储模型权重和/或激活的量化格式，精度损失极小，接近原始FP16/BF16精度，但内存占用约为4-bit量化的两倍
核心事实
时间轴 (近 90 天)
PW独立维护最近一段时间的纯写入内容，以FP8向量对形式保存并完整参与GDN状态转移，离开滑动窗口后才合并进低比特历史状态。
FP8通常分为E4M3与E5M2两种变体，前者精度更高、后者动态范围更大，推理时配合缩放因子可提升吞吐。
Nemotron 3.5 Transcribe的权重以BF16、FP8和NVFP4三种精度开放。
在 MoE 推理中，将权重位宽从 FP16 降低到 FP8/INT8 能成比例减少字节数，从而缩短延迟，前提是模型吞吐受限于带宽而非算力。
在单张RTX 4090上运行Hy-Nomas的优化手段包括INT8量化的DiT模型、FP8版本的视频解码器以及CPU offload策略。
DeepInfer对硬件提出三个期望：专家权重用FP4、激活和KV用FP8、缩放因子用UE8M0的低精度格式；每Token的KV Cache小于1KB；瓶颈转向大规模高速互联和设备端通信。
DeepSeek在V3.1时期就提出UE8M0 FP8是为下一代国产芯片设计，这次在DeepInfer中全面落地，意味着不支持该格式的芯片在精度或性能上会直接吃亏。
FP8混合精度训练中，V3在大部分矩阵乘法使用FP8计算，对精度敏感环节保留更高精度，相较BF16理论上算力吞吐翻倍、显存占用减半。
英伟达发布本地推理服务器Flare，面向DGX Spark和RTX Blackwell显卡，针对长对话智能体和工具调用优化，实现采用Rust并预先规划显存、默认使用FP8键值缓存。
基线BF16模型在单并发下约37.5 tokens/s，32并发聚合吞吐714 tokens/s，首token延迟61ms；切换到FP8权重后单并发提升到53.4 tokens/s，64并发峰值吞吐从约800提升到1140 tokens/s，约1.42倍。
还有 40 条时间轴事件
全部知识事实 (20)
NVFP4是NVIDIA推出的4位浮点（FP4）量化格式，专为Blackwell架构GPU的硬件加速能力设计
90%已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB
80%已验证FP8量化技术通过将权重压缩为8位表示，在几乎不损失精度的前提下将显存占用减少约50%
80%已验证FP8 是 8 位浮点格式，NVIDIA H100 等较新架构原生支持，相较于 FP16/BF16 可将数据量压缩一半
75%已验证量化（如INT8、FP8）能降低显存占用并提升吞吐，同时在多数场景下保持可接受的精度损失
75%已验证FP8数据量比FP16压缩一半，H100的FP8 Tensor Core算力达到FP16的两倍（约1979 TFLOPS）
75%已验证即便用 4-bit 量化把权重压缩到 214GB，仍远超单张 48GB 显卡的容量
70%已验证Flux 2的9B参数模型在FP16精度下模型权重约占18GB显存，通常需要24GB以上的GPU显存
65%待验证MoRI（Mixture of Routed Inference）量化通信策略在 dispatch 阶段使用 FP4 精度，combine 阶段使用 FP8 精度，实现了 2.56 倍的带宽压缩
90%部分验证NVFP4 每个参数占 4 位，即 0.5 字节，理论上权重显存占用和加载带宽相比 FP8 减半。
75%部分验证在双Spark系统上，DeepSeek V4 Flash（FP8量化）峰值约每秒53个Token
65%待验证PW独立维护最近一段时间的纯写入内容，以FP8向量对形式保存并完整参与GDN状态转移，离开滑动窗口后才合并进低比特历史状态。
50%待验证FP8通常分为E4M3与E5M2两种变体，前者精度更高、后者动态范围更大，推理时配合缩放因子可提升吞吐。
50%待验证Nemotron 3.5 Transcribe的权重以BF16、FP8和NVFP4三种精度开放。
50%待验证在 MoE 推理中，将权重位宽从 FP16 降低到 FP8/INT8 能成比例减少字节数，从而缩短延迟，前提是模型吞吐受限于带宽而非算力。
50%待验证在单张RTX 4090上运行Hy-Nomas的优化手段包括INT8量化的DiT模型、FP8版本的视频解码器以及CPU offload策略。
50%待验证DeepInfer对硬件提出三个期望：专家权重用FP4、激活和KV用FP8、缩放因子用UE8M0的低精度格式；每Token的KV Cache小于1KB；瓶颈转向大规模高速互联和设备端通信。
50%待验证DeepSeek在V3.1时期就提出UE8M0 FP8是为下一代国产芯片设计，这次在DeepInfer中全面落地，意味着不支持该格式的芯片在精度或性能上会直接吃亏。
50%待验证FP8混合精度训练中，V3在大部分矩阵乘法使用FP8计算，对精度敏感环节保留更高精度，相较BF16理论上算力吞吐翻倍、显存占用减半。
50%待验证基线BF16模型在单并发下约37.5 tokens/s，32并发聚合吞吐714 tokens/s，首token延迟61ms；切换到FP8权重后单并发提升到53.4 tokens/s，64并发峰值吞吐从约800提升到1140 tokens/s，约1.42倍。
50%