已验证65% 置信事实精确时间

自回归文本生成属于内存带宽受限任务，内存带宽而非算力峰值是真正的性能瓶颈

3

来源数

65%

置信度

长期有效

时效性

2026/7/18

首次发现

来源

Bonsai 27B：首个在手机运行的1-bit大模型，端侧AI新突破

相关事实

待验证自回归生成中每生成一个token需读取全部权重一次，内存带宽而非算力峰值才是真正的性能瓶颈84% 相似待验证定点整数便于硬件加速，但变长编码在存储效率上的优势为资源极度受限的场景打开了新空间。76% 相似已验证上下文越长，KV 缓存线性增长，显存带宽和容量成为推理吞吐的主要瓶颈。74% 相似已验证对于现代CPU和GPU而言，内存带宽往往是推理速度的真正瓶颈，而非计算单元的算力本身，因此量化能带来速度提升73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/547729

API

curl https://kongchang.com/api/v1/knowledge/claims/547729

MCP

get_claim(id=547729)