待验证50% 置信注意事项精确时间

模型哪怕一小部分溢出到系统内存，速度会大幅下降；实验显示同一小模型在RTX 5090显存跑151 tokens/s，放进系统内存只剩8 tokens/s

1

来源数

50%

置信度

长期有效

时效性

2026/10/4

首次发现

来源

本地跑AI模型该买什么硬件？显存与带宽决定一切

涉及实体

RTX 5090product

相关事实

待验证Windows上运行该模型比Linux慢约20%，短上下文约16 tokens/s，长上下文约10 tokens/s74% 相似待验证Quantprobe 宣称能让仅有 6GB 显存和 16GB 内存的机器以 22 tokens/s 的速度运行 30B 级别的模型70% 相似待验证当模型文件超出显卡显存时，溢出部分退回系统内存处理，速度会大幅下降70% 相似待验证本地模型推理速度慢（约1-5 tokens/秒）而云端可达50+ tokens/秒，本地模型能力天花板较低但无API成本和隐私顾虑69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/973166

API

curl https://kongchang.com/api/v1/knowledge/claims/973166

MCP

get_claim(id=973166)