待验证60% 置信事实精确时间

一个70B参数模型在Q4量化后的困惑度往往仍低于13B模型在Q8甚至FP16下的困惑度

2

来源数

60%

置信度

长期有效

时效性

2026/8/14

首次发现

来源

看懂GGUF量化：Q4_K_M与Q4_K_S的真正区别

相关事实

待验证Q4_K_M是最主流的量化平衡选择，困惑度损失通常低于1%；Q2_K可将70B模型压缩至约26GB但质量下降明显71% 相似待验证以 Qwen3-4B 为基础模型，仅用反例数据做监督微调会让模型对真定理的识别能力从 0.27 崩溃到 0.0071% 相似待验证2B参数模型的单次推理计算量大约仅为70B模型的三十五分之一70% 相似待验证将模型参数从70B缩减到7B，推理所需显存和单次请求的计算量均下降约一个数量级70% 相似待验证按题目难度排序，所有模型都答对的60道题坚持率91.4%，至少一个模型答错的52道题坚持率仅73.5%，表明谄媚追踪不确定性68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/745192

API

curl https://kongchang.com/api/v1/knowledge/claims/745192

MCP

get_claim(id=745192)