概念混合精度计算
混合精度算子
在同一次前向计算中混用FP16/BF16与FP32等不同精度,计算密集型算子用低精度执行以提升吞吐,数值敏感环节保留FP32以避免误差累积。
时间轴 (近 90 天)
11月1日
该优化方案的核心技术是动态显存分页与新一代混合精度算子。
待验证50%
11月1日
混合精度算子指在同一次前向计算中混用FP16/BF16与FP32,计算密集型算子用低精度提升吞吐,数值敏感环节保留FP32避免溢出与舍入误差累积。
待验证50%
11月1日
混合精度算子的收益取决于显卡是否支持相应低精度指令,老卡可能无法获得同等加速。
待验证50%