FP16
16位半精度浮点数格式，是深度学习中常用的数值精度标准，相比FP32可减少一半显存占用，相比INT8等量化格式保留更高动态范围
核心事实
时间轴 (近 90 天)
7B 参数模型在 FP16 精度下约需 14GB 显存，加上 KV Cache 和推理框架开销实际需求更高。
在 MoE 推理中，将权重位宽从 FP16 降低到 FP8/INT8 能成比例减少字节数，从而缩短延迟，前提是模型吞吐受限于带宽而非算力。
n-gram 表通常以全精度（如 FP16 或 BF16）存储，进一步放大了内存占用。
FP16的指数位仅5位，可表示的最小正规数约6×10^-5，反向传播中的输入梯度容易下溢为零，导致浅层完全学不到东西。
该系统对FP16输出应用逐行范围保护：在量化或写出FP16前统计每一行的最大值，据此动态调整缩放因子，使该行数值落在FP16的安全区间内，读出时再还原。
FP16是大多数模型发布时的默认精度。
模型训练时常用FP32或混合精度，发布推理版本时通常转成FP16以减半体积。
量化技术可将训练好的神经网络权重从FP16/FP32压缩为INT8/INT4，显著缩小模型体积、降低内存占用、提升推理速度，代价是精度可能损失。
KV cache 大小可用公式 cache = 2 (K and V) × layers × KV heads × head dim × tokens × 2 bytes 表达，其中 2 bytes 对应 FP16，使用 FP32 时翻倍，使用 INT8 量化则减半。
W8A8量化指权重和激活都压缩为8位整数；相比FP16可降低显存占用、提升NPU吞吐，代价是可能带来轻微精度损失。
还有 15 条时间轴事件
全部知识事实 (20)
FP16精度下，大模型每10亿参数约需2GB显存
80%已验证从FP32量化到INT8可将模型体积缩小为原来的四分之一
75%已验证混合精度训练前向传播用FP16利用Tensor Core加速，参数更新保留FP32以维持数值稳定性，已成为大模型训练的标准做法
75%已验证35B模型在FP16精度下需要约70GB显存，远超RTX 5090的32GB容量，因此单卡部署需量化
75%已验证BF16相比FP16拥有与FP32相同的8位指数位宽，因此动态范围更大，已成为当前主流大模型训练精度选择
70%已验证KV cache 大小可用公式 cache = 2 (K and V) × layers × KV heads × head dim × tokens × 2 bytes 表达，其中 2 bytes 对应 FP16，使用 FP32 时翻倍，使用 INT8 量化则减半。
65%已验证量化（Quantization）是把模型参数的保存精度从16bit压缩到8bit甚至4bit，从而降低内存占用，但代价是模型精度可能出现一定损失
65%待验证FP16格式下，大模型显存需求的估算公式为：参数量 × 2 = 所需显存（GB），即每个参数以16位（2字节）浮点数存储
95%待验证一个7B参数模型在FP16格式下仅模型权重就需要约14GB显存，训练总显存需求可能膨胀到50-80GB
60%待验证Q4_K_M量化相比FP16的困惑度（Perplexity）损失通常在1%~3%以内
60%待验证7B 参数模型在 FP16 精度下约需 14GB 显存，加上 KV Cache 和推理框架开销实际需求更高。
50%待验证在 MoE 推理中，将权重位宽从 FP16 降低到 FP8/INT8 能成比例减少字节数，从而缩短延迟，前提是模型吞吐受限于带宽而非算力。
50%待验证n-gram 表通常以全精度（如 FP16 或 BF16）存储，进一步放大了内存占用。
50%待验证FP16的指数位仅5位，可表示的最小正规数约6×10^-5，反向传播中的输入梯度容易下溢为零，导致浅层完全学不到东西。
50%待验证该系统对FP16输出应用逐行范围保护：在量化或写出FP16前统计每一行的最大值，据此动态调整缩放因子，使该行数值落在FP16的安全区间内，读出时再还原。
50%待验证模型训练时常用FP32或混合精度，发布推理版本时通常转成FP16以减半体积。
50%待验证FP16是大多数模型发布时的默认精度。
50%待验证量化技术可将训练好的神经网络权重从FP16/FP32压缩为INT8/INT4，显著缩小模型体积、降低内存占用、提升推理速度，代价是精度可能损失。
50%待验证W8A8量化指权重和激活都压缩为8位整数；相比FP16可降低显存占用、提升NPU吞吐，代价是可能带来轻微精度损失。
50%待验证低精度训练与推理（FP16、FP8、FP4）是当前大模型能扩展到万亿参数的关键。
50%