待验证50% 置信事实精确时间

本地模型的可用内存和显存（VRAM）直接决定可获得的上下文窗口长度，因为推理需在显存中维护 KV Cache

1

来源数

50%

置信度

长期有效

时效性

2026/7/22

首次发现

来源

用 Ollama 跑本地模型接入 Claude Code，AI 成本降低 99%

相关事实

待验证LLM的记忆依赖于上下文窗口，即模型在单次推理时能够处理的最大Token数量75% 相似待验证上下文窗口占用的显存是与模型权重分开计算的，KV缓存显存占用随上下文长度线性增长73% 相似待验证上下文缓存技术底层依赖KV Cache机制，是vLLM、TensorRT-LLM等主流推理框架的核心优化之一72% 相似待验证决定大模型推理性能的是VRAM（显存）而非系统内存，当模型权重超出VRAM容量时推理速度会从数十TPS断崖式跌至个位数70% 相似已验证推理模型的自回归生成过程严格串行，KV Cache显存占用随思考Token序列线性增长，内存带宽成为性能瓶颈70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/590899

API

curl https://kongchang.com/api/v1/knowledge/claims/590899

MCP

get_claim(id=590899)