#训练优化

共 3 篇相关文章

RAFT框架通过冗余感知输入过滤，平均减少35.23%训练输入，训练时间最多降低52.56%，精度几乎无损，为时序图神经网络训练加速提供新方案。

AI Runtime 将 Qwen 训练时间缩短 6 倍，本文解析大模型训练提速背后的通信优化、算子融合与显存调度逻辑，以及这一优化对开发者迭代效率的实际意义。

论文重新设计4-bit AdamW优化器状态量化，提出在预条件子空间而非状态空间做舍入。ZIP-SR保留零并做随机舍入，ZE-EDEN排除零并重缩放，在130M至2.7B模型上最大缩小70%验证损失差距。