待验证50% 置信事实精确时间

对于大规模推理集群，能耗往往占TCO的30%-50%

1

来源数

50%

置信度

长期有效

时效性

2026/7/7

首次发现

来源

AMD MI355X运行GLM5.2：推理成本仅为英伟达Blackwell的一半

hackernewshackernews2026/7/3

相关事实

待验证建议上下文占用接近30%时开始关注，超过40%时执行Compact，超过60%时考虑Clear后重新开始66% 相似待验证推理时的KV缓存、激活值缓冲区和中间计算状态会额外占用30%-50%显存66% 相似待验证在大规模集群中，All-to-All通信可能占据MoE层总执行时间的30%-50%61% 相似待验证评判CPU与GPU仿真的TCO需针对具体工作负载建模，若任务在GPU上并行效率仅30%而CPU上达90%，最终有效成本可能颠倒61% 相似待验证High模式每次调用链式推理的token消耗可能是Instant模式的10-50倍60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/186798

API

curl https://kongchang.com/api/v1/knowledge/claims/186798

MCP

get_claim(id=186798)