Zephon

PyTorch官方博客发布了一篇介绍通过Zephon项目为TorchTitan实现弹性确定性数据加载（Elastically Deterministic Data Loading）的技术文章。

Zephon在数据加载层引入全局有序的样本索引机制，每个训练样本在整个数据集中有唯一的逻辑序号，数据加载器根据当前并行配置将全局序列映射到各rank和工作进程上。

当并行度发生变化时，Zephon的动态映射逻辑保证每个样本仍然只被消费一次，且消费的全局顺序不变。

Zephon的全局有序样本索引把数据进度抽象为全局单调递增的逻辑游标，检查点只需记录当前消费到的全局序号N，恢复时任意新的并行配置都可以从该序号继续。

Zephon与TorchTitan的集成主要集中在数据加载管线封装层，对模型代码几乎零侵入，用户只需在数据配置中启用Zephon的加载策略。