待验证50% 置信权衡取舍精确时间

端侧模型推理需为KV缓存、中间激活值和系统开销预留内存，实际可支撑的上下文长度可能远低于云端版本的128K窗口

1

来源数

50%

置信度

长期有效

时效性

2026/7/21

首次发现

来源

270亿参数大模型压进iPhone？端侧AI全参数运行技术解析

相关事实

待验证长上下文在首次推理时需完整计算KV Cache，消耗GPU计算资源并占用显存带宽，拉长首token延迟（TTFT）70% 相似待验证对于70B参数的模型，8K上下文的KV Cache可能额外占用数GB显存69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/584673

API

curl https://kongchang.com/api/v1/knowledge/claims/584673

MCP

get_claim(id=584673)