待验证50% 置信基准精确时间
在4bit量化版本（完全放入32GB显存）测试中，Ollama达240 tokens/s，FreeToken为225 tokens/s，Ollama反而更快
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/11
首次发现
有效期至：2026/12/10
来源
涉及实体
相关事实
待验证在配备96GB显存的M2 Max上以1-bit精度运行时，简单任务生成速度稳定在约28-30 tokens/秒69% 相似待验证在显存充足、模型完整驻留GPU时，RTX 4090跑Q4量化的27B模型通常可达15～30 tokens/s；触发CPU卸载后速度可能骤降至1～2 tokens/s甚至更低68% 相似待验证测试者用双4090（48GB显存）工作站运行20.7B稠密模型，每秒生成27.6个Token，仅比矮星略快，但参数量小10倍以上67% 相似待验证在单张 32GB 显卡、q4_0 量化场景下，上下文长度从更新前的 82,432 token 增至更新后的 199,680 token67% 相似待验证社区横向对比数据：M2 Ultra约20 token/秒，M3 Ultra 512GB为39.8 token/秒，单张B200为119.7 token/秒，8张RTX Pro 6000约204 token/秒，改装48GB显存RTX 4090定制后端367 token/秒，双H200约375 token/秒67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/897263API
curl https://kongchang.com/api/v1/knowledge/claims/897263MCP
get_claim(id=897263)