待验证50% 置信事实精确时间
2023年以来旗舰手机芯片NPU算力已突破40 TOPS，配合量化技术使7B甚至13B参数模型能在手机上以每秒数个token速度推理
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/8/4
首次发现
有效期至：2026/11/2
来源
相关事实
待验证华为云ASS零区计算集群支持10万卡规模算力，Token生成延迟压缩到10毫秒以内，算力达到2001 PFLOPS66% 相似待验证Gemma量化模型在高性能笔记本电脑上Token生成速度可达每秒20-50个，纯CPU推理约5-15 tokens/秒，INT4量化下NVIDIA RTX 4060/4070可将推理速度提升3-5倍65% 相似待验证一个INT8量化的MobileNet-v2可以在STM32H7上以约100ms完成一次图像分类推理，功耗在百毫瓦量级64% 相似待验证在24GB显存的显卡上运行Qwen3.6 27B模型，未经优化可达每秒约40个Token的生成速度，优化后可达50-60 Token/s63% 相似待验证NVIDIA芯片从A100（7nm，400W TDP）到H100（4nm，700W TDP，推理吞吐提升约6倍）再到B200（4nm，1000W TDP，性能再提升约4倍）63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/684157API
curl https://kongchang.com/api/v1/knowledge/claims/684157MCP
get_claim(id=684157)