待验证50% 置信事实精确时间

量化推理从FP16降至FP8可将显存需求减半，从FP8降至FP4可进一步减半

1

来源数

50%

置信度

长期有效

时效性

2026/7/8

首次发现

来源

AMD MI355X运行GLM5.2：推理成本仅为英伟达Blackwell的一半

hackernewshackernews2026/7/3

相关事实

待验证FP8相比FP16能将显存占用再减少约50%79% 相似待验证从BF16到FP8，内存占用减半，但数值表示精度大幅下降76% 相似待验证将FP32权重降至INT8后，典型Transformer模型基准测试分数下降通常不超过1%，推理速度提升2至4倍，内存占用减少75%73% 相似已验证INT4量化将神经网络权重从FP32压缩为4位整数表示，模型体积缩减约8倍72% 相似已验证量化技术可将模型体积压缩50%-75%，在损失极小精度前提下降低显存占用70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/218544

API

curl https://kongchang.com/api/v1/knowledge/claims/218544

MCP

get_claim(id=218544)