待验证85% 置信事实时间未知
RTX 5090上Qwen3.6 35B-A3B推理速度达220 token/s，显存占用约23GB
1
来源数
85%
置信度
中期 (~90 天)
时效性
2026/6/1
首次发现
有效期至：2026/8/30
来源
Qwen3.6 MTP加速实测：单GPU推理飙到220 token/s
bilibili普通鱼学家呀
涉及实体
相关事实
待验证RTX 5090上Qwen3.6 27B模型预填充速度从174提升到253 token/s，显存占用约18GB90% 相似待验证在24GB显存的显卡上运行Qwen3.6 27B模型，未经优化可达每秒约40个Token的生成速度，优化后可达50-60 Token/s78% 相似待验证对于RTX 4090（24GB显存），WhichLLM可能会推荐Qwen3.6 27B的Q5量化版本，预计推理速度约为每秒27 Token76% 相似待验证Q4_K_M量化文件大小17.77GB，pp2048速度96.8 tok/s，tg128速度11.4 tok/s75% 相似待验证在显存充足、模型完整驻留GPU时，RTX 4090跑Q4量化的27B模型通常可达15～30 tokens/s；触发CPU卸载后速度可能骤降至1～2 tokens/s甚至更低75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/18061API
curl https://kongchang.com/api/v1/knowledge/claims/18061MCP
get_claim(id=18061)