概念FP8 KV Cache
FP8 KV Cache
将 KV Cache 以 FP8 低比特格式存储的显存优化技术，可在长上下文场景下显著降低 KV Cache 显存占用，是 vLLM 支持的关键优化项。
时间轴 (近 90 天)
10月18日
vLLM 支持 FP8 KV Cache 这一关键优化项。
待验证50%
9月12日
GLM-5.3使用FP8 KV缓存支持完整的1M上下文
待验证50%
将 KV Cache 以 FP8 低比特格式存储的显存优化技术，可在长上下文场景下显著降低 KV Cache 显存占用，是 vLLM 支持的关键优化项。
vLLM 支持 FP8 KV Cache 这一关键优化项。
GLM-5.3使用FP8 KV缓存支持完整的1M上下文