概念上下文缓存
Context Caching
上下文缓存（Context Caching）是一种将已处理的上下文信息存储于缓存层、供后续请求复用的技术机制。其核心目标是避免对相同上下文的重复计算，从而提升系统响应效率并降低资源消耗。该技术广泛应用于大语言模型推理、对话系统及分布式计算等场景，尤其适用于需要频繁引用大量共享上下文的工作负载，是优化计算性能与成本的重要手段。
核心事实
时间轴 (近 90 天)
9月1日
Anthropic提供的上下文缓存（Context Caching）技术允许重复使用已处理的上下文前缀，可降低多轮对话中的重复计算成本
待验证50%
8月28日
硬盘缓存机制将已计算的KV Cache持久化到存储介质中，当后续请求前缀与缓存命中时可直接复用，跳过重复的前向传播
待验证50%
8月28日
上下文缓存机制对多轮对话、长文档处理和批量任务等场景尤为有利
待验证50%
全部知识事实 (7)
已验证
DeepSeek API对缓存命中的Token提供显著折扣
70%待验证Firebase AI Logic的Context Caching功能通过缓存KV Cache（Transformer注意力机制中的中间计算结果）来复用频繁使用的上下文片段
92%待验证Context Caching功能可以显著减少首Token生成时间（Time to First Token）
88%待验证根据Google官方数据，Context Caching对于包含大量共享上下文的场景可以将输入Token成本降低最多75%
88%待验证Anthropic提供的上下文缓存（Context Caching）技术允许重复使用已处理的上下文前缀，可降低多轮对话中的重复计算成本
50%待验证硬盘缓存机制将已计算的KV Cache持久化到存储介质中，当后续请求前缀与缓存命中时可直接复用，跳过重复的前向传播
50%待验证上下文缓存机制对多轮对话、长文档处理和批量任务等场景尤为有利
50%