产品PyTorch FlexAttention
FlexAttention
PyTorch 2.5 引入的可编程注意力接口，允许用户通过 score_mod 和 mask_mod 钩子自定义注意力分数修改与掩码逻辑，底层自动生成融合高效内核，兼顾灵活性与硬件加速
时间轴 (近 90 天)
10月30日
CACPU相比PyTorch SDPA、FlexAttention和SGLang注意力内核，最高实现2.01倍加速。
待验证50%
PyTorch 2.5 引入的可编程注意力接口，允许用户通过 score_mod 和 mask_mod 钩子自定义注意力分数修改与掩码逻辑，底层自动生成融合高效内核，兼顾灵活性与硬件加速
CACPU相比PyTorch SDPA、FlexAttention和SGLang注意力内核，最高实现2.01倍加速。