待验证60% 置信事实精确时间

推理过程中动态增长的KV Cache会持续占用显存，长对话时可能突然触发OOM崩溃

2

来源数

60%

置信度

长期有效

时效性

2026/8/5

首次发现

来源

Quantprobe：6GB显卡跑30B大模型的开源利器

相关事实

待验证随着对话轮次增加，每轮需携带完整历史上下文，输入token数量持续膨胀，导致推理时间呈现非线性增长77% 相似待验证在长对话中早期的错误尝试和调试过程会持续占据上下文窗口，造成上下文污染并干扰后续推理准确性76% 相似待验证端侧推理最常出现的问题是内存，上下文长度会悄悄撑大KV缓存直至与权重相撞76% 相似待验证长上下文或多轮对话场景下，KV cache 会占用大量显存，速度可能断崖式下降。76% 相似待验证上下文长度越长，KV Cache 占用越大，推理速度通常会下降76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/689097

API

curl https://kongchang.com/api/v1/knowledge/claims/689097

MCP

get_claim(id=689097)