待验证50% 置信基准精确时间
在相同主机内存、并发配置为 32 条件下，传统 KV offloading 仅能维持 5-6 个请求，而 Hybrid HiSparse 能同时保持 19-25 个请求，有效并发能力提升约 3 到 4 倍
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/15
首次发现
有效期至：2026/12/14
来源
涉及实体
相关事实
待验证HiSparse 结合稀疏索引，只保留真正被查询到的 KV 部分，与传统全量下放的 KV offloading 有本质区别75% 相似待验证将 KV 缓存从 FP16 降至 INT8 可节省 50% 显存，降至 INT4 则节省 75%65% 相似待验证200K token的上下文请求相比8K token请求，需要约25倍的KV-Cache显存63% 相似待验证模型权重不能把显存占满，必须为 KV 缓存和推理过程预留空间，128K 上下文所需的 KV 缓存可能高达数 GB 甚至超过模型权重本身63% 相似待验证传统 LLM 推理中每个请求的 KV Cache 需预先分配连续 GPU 显存块，因生成长度不可预知需按最大长度预留，导致实际显存利用率通常不到 30%63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/921501API
curl https://kongchang.com/api/v1/knowledge/claims/921501MCP
get_claim(id=921501)