INT4
4比特整数量化格式，通过将模型权重压缩至4位整数来大幅降低显存占用，但动态范围有限，相比块浮点格式精度损失可能更大
核心事实
时间轴 (近 90 天)
INT4 采用均匀量化，而 FP4 保留指数位，能够更好地覆盖激活值中的长尾分布。
NVFP4 借助更细的块粒度和浮点缩放，在激活值分布跨度较大的层中能更好地保留小数值信息，因此在同等 4 比特位宽下往往比 INT4 的困惑度损失更小。
INT4 是定点整数量化，动态范围有限。
对于均匀量化，理论 SQNR ≈ 6.02 × 比特数 + 1.76 dB，因此 INT8 理论上限约 49.9 dB，INT4 约 25.8 dB。
FuTransformer是面向NVIDIA Hopper GPU的CUDA实现，为Llama-style Transformer块分别设计了FP8预填充路径和INT4解码路径。
对INT4缓存施加块对角Hadamard变换会带来约0.20的perplexity增加，但换取缓存量化误差的下降。
A100 也是 Ampere 架构，因此在 A100 上运行 FP8 量化模型也是低效的，应当选择 INT4 量化方案。
常用的推理框架包括vLLM、TensorRT-LLM、Ollama等，量化则常用INT8、INT4等手段压缩模型体积。
业界常见做法是对权重进行INT4或INT8量化，同时保留关键层的高精度，以在成本与质量之间取得平衡
量化（Quantization）是把模型参数的保存精度从16bit压缩到8bit甚至4bit，从而降低内存占用，但代价是模型精度可能出现一定损失
还有 18 条时间轴事件
全部知识事实 (20)
4-bit量化将每个参数压缩至0.5字节，理论上将140GB压缩至约35-40GB
80%已验证INT4量化理论上可将模型显存占用压缩至FP16的四分之一，常用工具包括GPTQ、AWQ、GGUF等
75%已验证量化（Quantization）是把模型参数的保存精度从16bit压缩到8bit甚至4bit，从而降低内存占用，但代价是模型精度可能出现一定损失
65%已验证量化的核心原理是将模型参数从高精度浮点数（如FP32的32位浮点）转换为低精度表示（如INT8的8位整数或INT4的4位整数）
65%待验证将 INT4 权重重新量化为 NF4 会使每个权重经历两次舍入，官方测得这会让 Qwen3-8B 的困惑度上升 1.6%
70%待验证INT4 采用均匀量化，而 FP4 保留指数位，能够更好地覆盖激活值中的长尾分布。
50%待验证INT4 是定点整数量化，动态范围有限。
50%待验证NVFP4 借助更细的块粒度和浮点缩放，在激活值分布跨度较大的层中能更好地保留小数值信息，因此在同等 4 比特位宽下往往比 INT4 的困惑度损失更小。
50%待验证对于均匀量化，理论 SQNR ≈ 6.02 × 比特数 + 1.76 dB，因此 INT8 理论上限约 49.9 dB，INT4 约 25.8 dB。
50%待验证对INT4缓存施加块对角Hadamard变换会带来约0.20的perplexity增加，但换取缓存量化误差的下降。
50%待验证FuTransformer是面向NVIDIA Hopper GPU的CUDA实现，为Llama-style Transformer块分别设计了FP8预填充路径和INT4解码路径。
50%待验证A100 也是 Ampere 架构，因此在 A100 上运行 FP8 量化模型也是低效的，应当选择 INT4 量化方案。
50%待验证常用的推理框架包括vLLM、TensorRT-LLM、Ollama等，量化则常用INT8、INT4等手段压缩模型体积。
50%待验证业界常见做法是对权重进行INT4或INT8量化，同时保留关键层的高精度，以在成本与质量之间取得平衡
50%待验证Unsloth 的 Triton 内核逐层按需反量化，INT4 保持精确而不重新量化成 NF4，避免困惑度上升约 1.6%
50%待验证量化精度建议：生产环境优先使用 BF16，测试环境可用 INT4，底线不要低于 INT4，因为精度越低模型能力和输出质量损失越大
50%待验证NVFP4与INT4的区别在于它保留了浮点数的动态范围表达能力，对权重分布非均匀的大模型更友好
50%待验证FP4/INT4量化下模型体积约为FP16的四分之一
50%待验证采用INT4 HQQ量化时，模型在处理西非口音时出现的灾难性转录循环被放大了5到7倍
50%待验证在边缘设备和低精度推理（如INT8/INT4量化）场景下，指数运算往往是量化误差和计算开销的集中来源
50%