概念CPU注意力内核
CACPU
专为因果全序列预填充设计的CPU注意力内核，采用分层缓存分块和内核内任务调度实现负载均衡，提升CPU上长上下文注意力计算效率
时间轴 (近 90 天)
10月30日
CACPU是一个专为因果全序列预填充设计的CPU注意力内核，通过分层缓存分块和内核内任务调度机制实现加速。
待验证50%
10月30日
CACPU相比PyTorch SDPA、FlexAttention和SGLang注意力内核，最高实现2.01倍加速。
待验证50%
10月30日
将CACPU集成到SGLang推理框架后，Llama-3.1-8B的首Token延迟（TTFT）最高降低1.74倍，同时保持模型精度不变。
待验证50%
10月30日
CACPU优化的是预填充阶段，其收益主要体现在TTFT上，而对逐Token的解码吞吐影响有限。
待验证50%
10月30日
研究团队将CACPU集成进SGLang并验证了端到端效果，说明这项工作已经具备工程落地的基础。
待验证50%
全部知识事实 (5)
待验证
CACPU是一个专为因果全序列预填充设计的CPU注意力内核，通过分层缓存分块和内核内任务调度机制实现加速。
50%待验证CACPU相比PyTorch SDPA、FlexAttention和SGLang注意力内核，最高实现2.01倍加速。
50%待验证将CACPU集成到SGLang推理框架后，Llama-3.1-8B的首Token延迟（TTFT）最高降低1.74倍，同时保持模型精度不变。
50%待验证CACPU优化的是预填充阶段，其收益主要体现在TTFT上，而对逐Token的解码吞吐影响有限。
50%待验证研究团队将CACPU集成进SGLang并验证了端到端效果，说明这项工作已经具备工程落地的基础。
50%