[控场AI]
概念Entropy Coding

熵编码

一类无损压缩方法,依据符号的概率分布分配码长,高概率符号用短码、低概率符号用长码,理论上可逼近数据的信息熵。

时间轴 (近 90 天)

9月16日

利用权重分布偏斜特性并配合更高效的熵编码方案,有机会把每权重平均比特数压到 1.58 以下

待验证50%
9月16日

存储压缩降低的是静态占用,而实际推理仍需将权重解码回可计算的形式,解码开销过大可能抵消带宽节省的收益

待验证50%
9月16日

熵编码产生的变长码流与硬件SIMD指令偏好的定长、对齐内存布局存在结构性冲突

待验证50%

全部知识事实 (3)

来源文章