待验证50% 置信基准精确时间
对照方案Qwen 3.6 35B A3B在llama.cpp上、显存受限专家布局且关闭MTP/Vision时,提示处理为630-680 t/s、生成27-35 t/s。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/26
首次发现
有效期至:2026/11/9
来源
涉及实体
相关事实
待验证该配置下Qwen3 27B在llama.cpp原生输出约70T/s,实测峰值达76T/s73% 相似待验证在Agent框架(Hornis/赫米)中调用Qwen3 27B能维持在约60T/s72% 相似待验证Qwen3-27B的16个全注意力层每层拥有4个KV头、256的头维度,在16位精度下每个Token占用64KB70% 相似待验证一位B70用户使用 vLLM + GPT-Q INT4 量化、MTP 深度4,在27B模型上跑出 84.6 tokens/s,但只支持单流且用了不同量化无法直接对比70% 相似待验证官方Qwen3-8B配置为36层、8个KV头、头维度128,滑动窗口注意力关闭;在缓存8192 token、每元素2字节、单序列条件下,KV缓存约为1.125 GiB。69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1099108API
curl https://kongchang.com/api/v1/knowledge/claims/1099108MCP
get_claim(id=1099108)