待验证50% 置信事实精确时间
官方对“1 bit per parameter”的算法是:72.12 GB 除以原始 551.9B transformer 参数得到 1.05 比特,四舍五入为 1;被移除的专家按零比特计入。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/2
首次发现
有效期至:2027/1/31
来源
涉及实体
相关事实
待验证后续论文《The Era of 1-bit LLMs (BitNet b1.58)》发现纯1-bit需要很大规模才能匹配全精度质量,因此引入零状态,权重变为-1、0或+1。70% 相似待验证2-bit 量化下每个权重仅约 4 个离散取值。70% 相似待验证三值化权重每个权重仅携带约1.58 bits信息量(log₂3≈1.585),相比FP32的32 bits信息密度下降约20倍69% 相似待验证Coder 保留的 280.1B 参数平均为 2.06 比特,没有任何单个权重被存储到低于 1 比特,整体平均被剪枝掉的参数按零比特拉低。69% 相似待验证BitNet 1.58b量化在PCEI的24层网络中使用三值权重{-1, 0, +1},相比FP16精度参数内存降低约4倍,推理时可用整数加法替代浮点乘法。67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1127277API
curl https://kongchang.com/api/v1/knowledge/claims/1127277MCP
get_claim(id=1127277)