待验证50% 置信事实精确时间
在并行采样、束搜索等解码算法中，一个prompt会生成多个输出，每个结果都需要存储完整序列，导致prompt被重复存储多次。
1
来源数
50%
置信度
长期有效
时效性
2026/10/31
首次发现
来源
大模型推理瓶颈与KV Cache：核心机制与主流优化方案
bilibili先进编译实验室2026/10/20
涉及实体
相关事实
待验证运行时分拣要求 12 个并行 worker 执行分拣，结果先保存在内存中，每 50 条批量写入 PostgreSQL 并在最后补写一次，每次批量保存后重新加载看板。69% 相似已验证重排序使用交叉编码器对查询-文档对逐一打分，精度远高于向量相似度但计算成本更高，因此只对粗排后的少量候选做精排，形成粗排+精排两阶段架构。69% 相似待验证应对重复分块的措施包括内容哈希精确去重、基于嵌入相似度的近重复聚类、制定规范化策略、查询时按来源元数据加权，这些都不需要改动模型。68% 相似待验证多查询检索使用LLM针对同一问题自动生成3-5个语义等价但表述各异的变体查询，分别检索后取并集以提升召回率67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1121458API
curl https://kongchang.com/api/v1/knowledge/claims/1121458MCP
get_claim(id=1121458)