因果掩码
自回归语言模型中用于限制注意力范围的掩码机制，确保每个位置只能关注自身及之前的token，防止信息泄露
时间轴 (近 90 天)
在自回归语言模型中，注意力需要配合因果掩码，确保每个位置只能关注自身及之前的token，防止信息泄露。
多问题打包时，因果掩码需要改造：每个问题都能看到完整上下文，但问题之间必须互相隔离；如果问题二能看到问题一的内容，提问顺序会影响答案，可复现性被破坏。作者指出 Cloudflare 的 Clef 没有做这层隔离，在他看来会导致换序后输出漂移。
设备端因果掩码直接在加速器上生成或以内核方式施加，省去主机端构造再拷贝到设备的传输与内存开销。
在decoder-only架构中，因果掩码保证每个token只能看到自己和更早的token。
因果语言模型在预测第 t 个位置的 Token 时，只能看到位置 1 到 t 的输入，不能看到未来的 Token，通常通过因果掩码实现。
归一化流与大语言模型共享相同的因果掩码（causal mask）、KV-cache缓存机制，以及一致的从左到右序列生成结构
全部知识事实 (6)
在自回归语言模型中，注意力需要配合因果掩码，确保每个位置只能关注自身及之前的token，防止信息泄露。
50%待验证多问题打包时，因果掩码需要改造：每个问题都能看到完整上下文，但问题之间必须互相隔离；如果问题二能看到问题一的内容，提问顺序会影响答案，可复现性被破坏。作者指出 Cloudflare 的 Clef 没有做这层隔离，在他看来会导致换序后输出漂移。
50%待验证设备端因果掩码直接在加速器上生成或以内核方式施加，省去主机端构造再拷贝到设备的传输与内存开销。
50%待验证在decoder-only架构中，因果掩码保证每个token只能看到自己和更早的token。
50%待验证因果语言模型在预测第 t 个位置的 Token 时，只能看到位置 1 到 t 的输入，不能看到未来的 Token，通常通过因果掩码实现。
50%待验证归一化流与大语言模型共享相同的因果掩码（causal mask）、KV-cache缓存机制，以及一致的从左到右序列生成结构
50%