上下文长度
大语言模型在一次推理中能处理的 token 数量上限，决定了模型可参考的上下文信息量，是影响 AI 编程工具行为效果的关键因素
时间轴 (近 90 天)
340M 与 1.3B 是参数量级，4K 上下文指训练/评估序列长度为 4096 token。
上下文长度指模型单次能处理的 token 数量上限，本地运行时上下文越长占用的内存越多。
上下文长度仍是模型差异化竞争的抓手。
当上下文扩展到 100k 甚至更长时，单位 token 价格、显存占用与推理延迟都会变化，短上下文下的“每美元性能”结论无法直接外推。
有评论质疑“超过 100k 上下文呢？这张图有误导性”，认为短上下文定价无法反映长上下文场景下的真实成本。
Codex 运行时卡在“重新连接”死循环的常见原因是 Ollama 默认上下文长度为 32K，将其改为 16K 或 8K 可提升代理速度。
一个7B模型在32K上下文下，内存占用可能接近一个更大模型在短上下文下的水平。
传统模型的上下文长度通常只有4K到32K，超过则模型会遗忘。
上下文长度越长，对显存和内存的占用也越大。
模型读不懂过于复杂的结构，或上下文太长时表现变差，是今天的能力下限；该方法还不能在所有场景运行，但那个下限不是方法的永久边界。
还有 4 条时间轴事件
全部知识事实 (14)
340M 与 1.3B 是参数量级，4K 上下文指训练/评估序列长度为 4096 token。
50%待验证上下文长度指模型单次能处理的 token 数量上限，本地运行时上下文越长占用的内存越多。
50%待验证上下文长度仍是模型差异化竞争的抓手。
50%待验证当上下文扩展到 100k 甚至更长时，单位 token 价格、显存占用与推理延迟都会变化，短上下文下的“每美元性能”结论无法直接外推。
50%待验证有评论质疑“超过 100k 上下文呢？这张图有误导性”，认为短上下文定价无法反映长上下文场景下的真实成本。
50%待验证Codex 运行时卡在“重新连接”死循环的常见原因是 Ollama 默认上下文长度为 32K，将其改为 16K 或 8K 可提升代理速度。
50%待验证一个7B模型在32K上下文下，内存占用可能接近一个更大模型在短上下文下的水平。
50%待验证传统模型的上下文长度通常只有4K到32K，超过则模型会遗忘。
50%待验证上下文长度越长，对显存和内存的占用也越大。
50%待验证模型读不懂过于复杂的结构，或上下文太长时表现变差，是今天的能力下限；该方法还不能在所有场景运行，但那个下限不是方法的永久边界。
50%待验证上下文长度指模型一次能记住的 token 数量，从 4000 到 64000 的跨度意味着长文档处理能力和显存占用会同步放大。
50%待验证上下文长度指模型单次请求能容纳的 token 总量，包含输入与输出；超出上限时不同服务处理方式不同，有的直接报错，有的静默截断。
50%待验证上下文长度的显存消耗随长度增加呈近似平方级增长，因注意力机制需维护 KV Cache 存储历史 Token 中间状态
50%待验证上下文超过128K之后推理速度会大幅下降，原因是KV缓存体积膨胀及注意力计算时间复杂度随序列长度平方级增长
50%