待验证60% 置信事实精确时间
BitNet b1.58采用三值量化，每个权重取-1、0或+1三个值，约1.58 bit（log₂3）
2
来源数
60%
置信度
长期有效
时效性
2026/8/24
首次发现
来源
涉及实体
相关事实
待验证BitNet 1.58b量化在PCEI的24层网络中使用三值权重{-1, 0, +1}，相比FP16精度参数内存降低约4倍，推理时可用整数加法替代浮点乘法。76% 相似待验证后续论文《The Era of 1-bit LLMs (BitNet b1.58)》发现纯1-bit需要很大规模才能匹配全精度质量，因此引入零状态，权重变为-1、0或+1。73% 相似待验证三值化权重每个权重仅携带约1.58 bits信息量（log₂3≈1.585），相比FP32的32 bits信息密度下降约20倍72% 相似待验证官方对“1 bit per parameter”的算法是：72.12 GB 除以原始 551.9B transformer 参数得到 1.05 比特，四舍五入为 1；被移除的专家按零比特计入。65% 相似待验证一个恰好80亿参数的模型，在16 bits精度下理想化权重负载约为14.90 GiB，8 bits约7.45 GiB，4 bits约3.73 GiB。65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/795618API
curl https://kongchang.com/api/v1/knowledge/claims/795618MCP
get_claim(id=795618)