待验证50% 置信权衡取舍精确时间

使用轻量级embedding模型如sentence-transformers的MiniLM每次推理需要几十毫秒，大型embedding模型可能达数百毫秒

1

来源数

50%

置信度

长期有效

时效性

2026/9/9

首次发现

来源

LongGuard：为LangGraph装上熔断器，终结Agent失控循环

涉及实体

sentence-transformersproduct MiniLMmodel

相关事实

已验证一次 LLM 模型推理动辄数百毫秒甚至数秒，而确定性代码的执行时间通常在微秒级77% 相似待验证对于BERT-base模型推理会话初始化通常耗时数百毫秒，重复执行会使延迟增加1-2个数量级70% 相似待验证基于规则与分类器的路由方案通常基于DistilBERT、句子嵌入模型或微调的小型语言模型构建，推理延迟一般控制在10毫秒以内67% 相似待验证在实测中，Dify问题分类器一次分类耗时约11秒，因为执行速度取决于大模型的响应66% 相似待验证用于文本分类的小型 BERT 变体参数量约 1 亿，单次推理延迟通常在毫秒级66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/881438

API

curl https://kongchang.com/api/v1/knowledge/claims/881438

MCP

get_claim(id=881438)