MXFP4
由OCP（Open Compute Project）定义的微缩放浮点量化格式，每个参数压缩至4比特，通过组内共享缩放因子在低比特下保持数值精度，用于大模型推理降本增效
核心事实
时间轴 (近 90 天)
OCP 标准的 MXFP4 使用 E8M0（纯指数）缩放因子，块大小为 32。
FlyDSL覆盖稠密与分组GEMM、融合多头注意力（FMHA/Attention）、MXFP8/MXFP4缩放GEMM、RMSNorm和TopK等核心操作。
该方案的KV缓存统一采用BF16精度，模型权重部分采用MXFP4量化
在 DeepSeek R1 670B（MXFP4 精度）测试中，Jalapeño 每瓦吞吐约 1.7 倍（19,641 对 GB300 的 11,781），端到端延迟从 5.99 秒降到 1.65 秒
本次优化围绕vLLM推理框架与MXFP4/NVFP4量化路径展开，编写或调整了专用计算内核
MXFP4属于MX（Microscaling）系列标准，是分组浮点量化规范，每组权重共享一个缩放因子
MXFP8属于微缩放浮点格式家族，其核心思想是在一小块数据内共享一个缩放因子
全部知识事实 (7)
MXFP8属于微缩放浮点格式家族，其核心思想是在一小块数据内共享一个缩放因子
75%待验证在 DeepSeek R1 670B（MXFP4 精度）测试中，Jalapeño 每瓦吞吐约 1.7 倍（19,641 对 GB300 的 11,781），端到端延迟从 5.99 秒降到 1.65 秒
60%待验证OCP 标准的 MXFP4 使用 E8M0（纯指数）缩放因子，块大小为 32。
50%待验证FlyDSL覆盖稠密与分组GEMM、融合多头注意力（FMHA/Attention）、MXFP8/MXFP4缩放GEMM、RMSNorm和TopK等核心操作。
50%待验证该方案的KV缓存统一采用BF16精度，模型权重部分采用MXFP4量化
50%待验证本次优化围绕vLLM推理框架与MXFP4/NVFP4量化路径展开，编写或调整了专用计算内核
50%待验证MXFP4属于MX（Microscaling）系列标准，是分组浮点量化规范，每组权重共享一个缩放因子
50%