待验证50% 置信事实精确时间
在跨机器交接时,Decode只询问任务是否完成,未检查任务是否被拒绝,导致在Prefill拒绝超长提示词并替换为占位符后,Decode仍按原计划预留并读取了超出实际发送量的页面。
1
来源数
50%
置信度
长期有效
时效性
2026/10/31
首次发现
来源
KV Cache 泄漏事故:Cloudflare AI 串聊 155 次的技术真相
youtubeFrame By Bytes2026/10/28
涉及实体
相关事实
待验证Decode阶段是访存带宽密集型的,每步需从HBM重新加载模型权重和KV cache,决定inter-token延迟(ITL)66% 相似待验证多请求并发时预填充任务和解码任务会相互争抢GPU资源,形成预填充-解码干扰问题65% 相似已验证预填充(Prefill)阶段是计算密集型任务,对算力要求高;解码(Decode)阶段是访存密集型任务,对显存带宽敏感65% 相似待验证Coding Harness关注单次编码任务的可靠执行,包括注入代码上下文、管理文件读写权限、执行命令行并回传结果、处理错误重试65% 相似待验证Decoder 路线中上下文可以前置并缓存,因果掩码下上下文只需 prefill 一次拿到 KV cache,后续每个问题直接复用,只计算新增的问题 token。64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1119337API
curl https://kongchang.com/api/v1/knowledge/claims/1119337MCP
get_claim(id=1119337)