#KV cache量化

KV Cache量化实测：8-bit几乎无损，4-bit代价有多大？

Reddit社区对Qwen3.8 27B的KV cache量化进行系统测试，用KL散度衡量llama.cpp、exllamav3、vLLM上8-bit与4-bit KV cache的影响。结果显示8-bit几乎无损，4-bit代价可测且随上下文增长，高精度权重下伤害尤其明显。