概念混合精度训练与推理 / Mixed Precision
混合精度
在计算不同阶段分别使用FP16/BF16与FP32的数值策略，吞吐敏感算子走低精度，累加与归约保持FP32，兼顾性能与数值稳定性
时间轴 (近 90 天)
10月29日
在MLIP中，描述符构建和最终能量求和往往需要更高精度，而中间隐藏层的矩阵乘法可采用混合精度执行。
待验证50%
10月14日
抽象泄漏的典型场景包括分布式训练卡在all-reduce、混合精度导致梯度溢出、自定义算子不被支持。
待验证50%
10月14日
论文《The Price of Precision》提出一个校准成本模型，先判断给定 batch size 和上下文长度下真正的瓶颈，再用动态规划选择混合精度配置，而非单纯依据字节宽度。
待验证50%