BF16
一种16位浮点数格式，相比FP32节省一半显存并提升计算速度，指数位较宽、尾数位较窄，在大模型训练与推理中广泛使用
核心事实
时间轴 (近 90 天)
大型模型（如26B、31B参数）在BF16精度下需超过50GB显存，难以在普通硬件上运行。
Nemotron 3.5 Transcribe的权重以BF16、FP8和NVFP4三种精度开放。
该研究提出的方法在RoPE（旋转位置编码）、SwiGLU（激活函数）和残差RMSNorm三个关键区域，将选定的中间结果保留在FP32精度，直到其BF16输出阶段再进行舍入。
在BF16下，任何一次浮点运算的结果若无法被BF16精确表示，就必须舍入到最近的可表示值，产生约2^-8量级的相对误差。
BF16（Brain Floating Point 16）是一种16位浮点格式，保留8位指数（与FP32相同）但只有7位尾数，因此动态范围大而精度低。
研究在四个Qwen系列模型上进行了实验，结果显示同时对齐RoPE、SwiGLU、残差RMSNorm三个区域可以完全防止默认BF16基线下的训练崩溃。
最近一项研究提出，通过对齐推理和训练中的舍入位置，可以在不改变推理引擎、矩阵乘法和注意力内核、学习目标的情况下，稳定BF16强化学习训练。
n-gram 表通常以全精度（如 FP16 或 BF16）存储，进一步放大了内存占用。
基线BF16模型在单并发下约37.5 tokens/s，32并发聚合吞吐714 tokens/s，首token延迟61ms；切换到FP8权重后单并发提升到53.4 tokens/s，64并发峰值吞吐从约800提升到1140 tokens/s，约1.42倍。
BF16精度下每个模型参数需要2字节存储。
还有 40 条时间轴事件
全部知识事实 (20)
BF16最初由Google Brain团队为TPU设计，保留与FP32相同的8位指数位，尾数从23位缩减到7位
90%已验证一个70B参数的FP16模型大约需要140GB显存，INT8量化后约需70GB，INT4量化后约需35-40GB
90%已验证BF16（Brain Floating Point 16）是Google提出的浮点数变体，保留了FP32的8位指数范围但将尾数缩减至7位
90%已验证BF16相比FP16拥有与FP32相同的8位指数位宽，因此动态范围更大，已成为当前主流大模型训练精度选择
70%已验证量化的核心原理是将模型参数从高精度浮点数（如FP32的32位浮点）转换为低精度表示（如INT8的8位整数或INT4的4位整数）
65%已验证BF16采用1位符号位、8位指数位和7位尾数位，牺牲精度但保留了与FP32相同的动态范围
65%已验证混合精度训练将权重保存为FP32，而前向和反向传播计算使用FP16或BF16，可将显存占用减少近一半
65%部分验证816B 参数的 Muse Spark Open 经 NVFP4 量化后约占用 493GB 内存，FP16 存储则需超过 1.6TB。
80%部分验证BF16是谷歌推出的16位浮点格式，相比FP16拥有更宽的指数范围，不易出现数值溢出
65%待验证大型模型（如26B、31B参数）在BF16精度下需超过50GB显存，难以在普通硬件上运行。
50%待验证Nemotron 3.5 Transcribe的权重以BF16、FP8和NVFP4三种精度开放。
50%待验证研究在四个Qwen系列模型上进行了实验，结果显示同时对齐RoPE、SwiGLU、残差RMSNorm三个区域可以完全防止默认BF16基线下的训练崩溃。
50%待验证最近一项研究提出，通过对齐推理和训练中的舍入位置，可以在不改变推理引擎、矩阵乘法和注意力内核、学习目标的情况下，稳定BF16强化学习训练。
50%待验证BF16（Brain Floating Point 16）是一种16位浮点格式，保留8位指数（与FP32相同）但只有7位尾数，因此动态范围大而精度低。
50%待验证该研究提出的方法在RoPE（旋转位置编码）、SwiGLU（激活函数）和残差RMSNorm三个关键区域，将选定的中间结果保留在FP32精度，直到其BF16输出阶段再进行舍入。
50%待验证在BF16下，任何一次浮点运算的结果若无法被BF16精确表示，就必须舍入到最近的可表示值，产生约2^-8量级的相对误差。
50%待验证n-gram 表通常以全精度（如 FP16 或 BF16）存储，进一步放大了内存占用。
50%待验证基线BF16模型在单并发下约37.5 tokens/s，32并发聚合吞吐714 tokens/s，首token延迟61ms；切换到FP8权重后单并发提升到53.4 tokens/s，64并发峰值吞吐从约800提升到1140 tokens/s，约1.42倍。
50%待验证Q4量化的模型权重大约是BF16精度的30%，该比例考虑了量化缩放因子和冗余存储的开销。
50%待验证BF16精度下每个模型参数需要2字节存储。
50%