已验证65% 置信基准精确时间
在M5 Ultra的1.2TB/s带宽下，100GB量化模型理论速度约12 token/s，200GB约6 token/s，300GB约4 token/s
3
来源数
65%
置信度
中期 (~90 天)
时效性
2026/9/23
首次发现
有效期至：2026/12/22
来源
涉及实体
相关事实
待验证70B参数模型(140GB权重)在1TB/s带宽下理论最快生成速度约7 tokens/秒80% 相似待验证Quantprobe 宣称能让仅有 6GB 显存和 16GB 内存的机器以 22 tokens/s 的速度运行 30B 级别的模型79% 相似已验证128GB DDR5内存能完整加载70B级别模型的所有权重，但速度约为2-5 tokens/s76% 相似待验证在80亿参数模型的文本生成测试中，M5 Ultra每秒188 tokens，M3 Ultra每秒129 tokens，仅为1.45倍76% 相似待验证decode阶段的生成速度近似等于内存带宽÷模型大小，例如在内存带宽273GB/s的M4 Pro上运行4GB的Q4量化7B模型理论最大生成速度约68 tokens/s76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/945139API
curl https://kongchang.com/api/v1/knowledge/claims/945139MCP
get_claim(id=945139)