待验证70% 置信事实精确时间

DeepSeek-V2提出MLA（Multi-head Latent Attention），通过低秩压缩将KV Cache压缩至MHA的5%左右

2

来源数

70%

置信度

长期有效

时效性

2026/7/15

首次发现

来源

软硬协同设计：构建硬件友好的LLM架构指南

相关事实

待验证DeepSeek在多头潜在注意力（MLA）和FP8混合精度训练方向上的创新将KV Cache内存占用压缩至标准多头注意力的5%-13%79% 相似已验证DeepSeek V4采用自研的分层压缩注意力策略，设计了CSA（压缩吸收注意力）和HCA（重度压缩注意力）两种注意力模式交替使用79% 相似待验证MLA技术由DeepSeek在V2中首次提出，核心是将KV缓存投影到低维潜在向量以压缩显存占用。74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/512131

API

curl https://kongchang.com/api/v1/knowledge/claims/512131

MCP

get_claim(id=512131)