待验证50% 置信基准精确时间

同一模型紧随其后的相同请求仅需约 1.6 秒，与首次请求相差近 10 倍

1

来源数

50%

置信度

长期有效

时效性

2026/10/6

首次发现

来源

推理延迟的隐形成本：模型加载时间被你忽略了吗？

涉及实体

BAAI/bge-reranker-v2-m3model

相关事实

待验证在实测中，Dify问题分类器一次分类耗时约11秒，因为执行速度取决于大模型的响应70% 相似待验证对于BERT-base模型推理会话初始化通常耗时数百毫秒，重复执行会使延迟增加1-2个数量级69% 相似待验证三套优化叠加后生成速度稳定在每秒9到10个token，但1万字长文的首字响应仍需等待约329秒69% 相似待验证官方数据显示在入门级显卡上10个问题一起问总共72毫秒，摊到每个问题约7毫秒68% 相似待验证常规大语言模型完成一次推理通常需要数秒，在需要毫秒级响应的实时场景中几乎不可用66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/979845

API

curl https://kongchang.com/api/v1/knowledge/claims/979845

MCP

get_claim(id=979845)