QSA
Qwen3-Next模型采用的稀疏注意力变体，通过C4块（每4个相邻Token组成一个计算单元）在块级别进行注意力选择，并设有12个独立维护选择策略的吸收层，以降低长序列推理的计算量
核心事实
时间轴 (近 90 天)
项目补齐了租约、代际标记和尾部环形缓冲，并覆盖一道8路完整CUDA Graph归档，实验显示请求结束后KV容量和缓存槽位都回到初始值
在同配置对比中，38K单请求吞吐从每秒69.38个Token提高到86.07个，约4K的8路总吞吐从每秒400.16提高到464.15
长上下文归档实验中8条请求各输入约261000+个Token、各完成约1022个输出，共同解码窗口总吞吐每秒214.85个Token，每请求约26.86，但窗口只有约2.28秒且预填充串行或交错
作者强调多代理任务的各任务速度不能相加，不能声称四路始终同时解码或四倍加速
该项目把类似HiSparse的KV卸载思路移植到QSA（Qwen3-Next使用的稀疏注意力结构），让完整历史留在主机内存，显存只保留热数据
QSA中C4块指每4个相邻Token被组织为一个计算单元，注意力选择在块级别进行而非Token级别
QSA中12个吸收层各自独立维护自己的选择策略，与普通多层Transformer共享同一套KV索引的假设不兼容，因此HiSparse基于跨层共享索引的预取逻辑无法直接复用
移植前每张卡一条满上下文的原始KV约1.5GB，8条约12GB；移植后8路热缓存约396MB加共享暂存区约1.5GB，合计约1.89GB，显存需求减少约84%
卸载的只是KV缓存里的冷部分，权重、索引和GDN状态仍常驻显卡，完整历史保存在主机内存中并按需搬回
模型引入通义千问自研的吸收式Attention机制QSA，与DeepSeek的DSA（DeepSeek Sparse Attention）思路高度相似
还有 2 条时间轴事件
全部知识事实 (13)
Qwen系列在架构层面引入了GQA（分组查询注意力）机制，相比标准多头注意力降低了KV缓存的内存占用
65%待验证Qwen 3.8 Flash Next实现了QSA（Qwen稀疏注意力机制），通过块级稀疏注意力降低长上下文处理开销
60%待验证项目补齐了租约、代际标记和尾部环形缓冲，并覆盖一道8路完整CUDA Graph归档，实验显示请求结束后KV容量和缓存槽位都回到初始值
50%待验证长上下文归档实验中8条请求各输入约261000+个Token、各完成约1022个输出，共同解码窗口总吞吐每秒214.85个Token，每请求约26.86，但窗口只有约2.28秒且预填充串行或交错
50%待验证作者强调多代理任务的各任务速度不能相加，不能声称四路始终同时解码或四倍加速
50%待验证该项目把类似HiSparse的KV卸载思路移植到QSA（Qwen3-Next使用的稀疏注意力结构），让完整历史留在主机内存，显存只保留热数据
50%待验证QSA中C4块指每4个相邻Token被组织为一个计算单元，注意力选择在块级别进行而非Token级别
50%待验证QSA中12个吸收层各自独立维护自己的选择策略，与普通多层Transformer共享同一套KV索引的假设不兼容，因此HiSparse基于跨层共享索引的预取逻辑无法直接复用
50%待验证移植前每张卡一条满上下文的原始KV约1.5GB，8条约12GB；移植后8路热缓存约396MB加共享暂存区约1.5GB，合计约1.89GB，显存需求减少约84%
50%待验证卸载的只是KV缓存里的冷部分，权重、索引和GDN状态仍常驻显卡，完整历史保存在主机内存中并按需搬回
50%待验证在同配置对比中，38K单请求吞吐从每秒69.38个Token提高到86.07个，约4K的8路总吞吐从每秒400.16提高到464.15
50%待验证QSA通过压缩式轻量级Index在micro-block粒度上重新选择重要上下文，降低长序列Attention计算开销
50%待验证模型引入通义千问自研的吸收式Attention机制QSA，与DeepSeek的DSA（DeepSeek Sparse Attention）思路高度相似
50%