已验证65% 置信基准精确时间
一个30亿参数的Llama在CPU上每次调用耗时1到3秒，而70B模型每次40秒
3
来源数
65%
置信度
中期 (~90 天)
时效性
2026/9/28
首次发现
有效期至：2026/12/27
来源
涉及实体
相关事实
待验证稠密35B模型每token需要约70亿次以上的乘加运算，在单卡上延迟可能高达数百毫秒甚至秒级。78% 相似待验证首次加载时间取决于硬件配置，配置好的机器可能几十秒完成，性能一般的机器可能需要一到三分钟77% 相似待验证在同一台配备Spark CPU、限定三线程的机器上测试，Laya中位调用耗时541毫秒，Kev为756毫秒，95分位分别约607与802毫秒77% 相似待验证使用40亿参数蒸馏模型绘图时，Mac mini约每12秒生成一张（每分钟约5张），Mac Studio约每2秒一张（每分钟约29张）75% 相似待验证在 CPU 单线程下，Largha-150M-v1 处理一个案例（一个状态加五个问题）约需 1.64 秒；8 线程约 8–20 决策/秒。75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/955881API
curl https://kongchang.com/api/v1/knowledge/claims/955881MCP
get_claim(id=955881)