待验证50% 置信事实精确时间
NCM将推理瓶颈从显存带宽转向计算算力，权重读取次数大幅减少，但处理的位置数多于输出的token数，增加了计算量。
1
来源数
50%
置信度
长期有效
时效性
2026/10/31
首次发现
来源
涉及实体
相关事实
待验证NCM通过分层并行预测，理论上可以将生成复杂度从O(n)降低到O(log n)或更低，但代价是可能丢失细粒度信息。74% 相似待验证端侧推理的瓶颈往往不是峰值算力而是内存带宽，三元量化通过压缩参数减少每次推理需读取的数据量，是实现120 tok/s的关键73% 相似待验证在推理阶段内存带宽往往比纯算力更早成为瓶颈，注意力机制需在每步生成时读取全部KV缓存，上下文长度增大时内存读写开销呈平方级增长71% 相似待验证乘积量化通过预先计算的码本距离查表，将逐维度浮点运算的距离计算转化为整数查表累加，提升批量检索吞吐量70% 相似待验证Ngram表可以从SSD流式读取而不严重拖慢推理速度，因为查表操作对内存带宽要求远低于神经网络层的矩阵运算70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1121439API
curl https://kongchang.com/api/v1/knowledge/claims/1121439MCP
get_claim(id=1121439)