概念Entropy Coding
熵编码
一类无损压缩方法,依据符号的概率分布分配码长,高概率符号用短码、低概率符号用长码,理论上可逼近数据的信息熵。
时间轴 (近 90 天)
9月16日
利用权重分布偏斜特性并配合更高效的熵编码方案,有机会把每权重平均比特数压到 1.58 以下
待验证50%
9月16日
存储压缩降低的是静态占用,而实际推理仍需将权重解码回可计算的形式,解码开销过大可能抵消带宽节省的收益
待验证50%
9月16日
熵编码产生的变长码流与硬件SIMD指令偏好的定长、对齐内存布局存在结构性冲突
待验证50%