三值量化
一种极端量化方法，将神经网络权重限制为-1、0、+1三个离散值，配合共享缩放因子保留权重量级，每权重约1.58-1.7比特，是BitNet等研究的核心技术
时间轴 (近 90 天)
Kitten-TTS 2是1.58比特TTS模型，其线性层权重为三值{-1, 0, +1}，配合group size为128的缩放因子。
相比FP16，三值量化每参数大约小10倍。
Moondream 将 Parakeet 编码器中的每个权重强制压缩成 -1、0、+1 三个值之一（三值量化），每个权重约需1.58位存储
三值量化仅应用于编码器而非解码器，这是准确率损失小的关键原因之一
Bonsai采用三值量化，将每个权重压缩为-1、0或+1三个值，每128个权重共享一个缩放因子，每个权重约需1.7比特，比16位全精度小约9倍
三值量化将权重取-1、0、+1三个值，可用加减法替代乘法运算以降低硬件计算压力，与微软的BitNet系列研究方向相关
三值量化每个权重理论上仅需约1.58比特（log₂3）即可表示
全部知识事实 (7)
Kitten-TTS 2是1.58比特TTS模型，其线性层权重为三值{-1, 0, +1}，配合group size为128的缩放因子。
50%待验证相比FP16，三值量化每参数大约小10倍。
50%待验证Moondream 将 Parakeet 编码器中的每个权重强制压缩成 -1、0、+1 三个值之一（三值量化），每个权重约需1.58位存储
50%待验证三值量化仅应用于编码器而非解码器，这是准确率损失小的关键原因之一
50%待验证Bonsai采用三值量化，将每个权重压缩为-1、0或+1三个值，每128个权重共享一个缩放因子，每个权重约需1.7比特，比16位全精度小约9倍
50%待验证三值量化将权重取-1、0、+1三个值，可用加减法替代乘法运算以降低硬件计算压力，与微软的BitNet系列研究方向相关
50%待验证三值量化每个权重理论上仅需约1.58比特（log₂3）即可表示
50%