概念Scaled Dot-Product Attention
PyTorch SDPA
PyTorch中的缩放点积注意力实现,提供高效的注意力计算内核
时间轴 (近 90 天)
10月30日
CACPU相比PyTorch SDPA、FlexAttention和SGLang注意力内核,最高实现2.01倍加速。
待验证50%
PyTorch中的缩放点积注意力实现,提供高效的注意力计算内核
CACPU相比PyTorch SDPA、FlexAttention和SGLang注意力内核,最高实现2.01倍加速。