#GGUF

共 4 篇相关文章

开发者开源动态量化方法 Voodoo Dynamic Quant，采用 MIT 协议。它用梯度下降优化 GGUF 模型的逐张量量化布局，在激进低比特档位优于 Unsloth Dynamic 3.0，为低显存本地部署提供新工具。

bartowski 更新 Qwen3.8-27B-GGUF 模型仓库，引入逐张量布局映射（Per-tensor layout），以图表和表格展示每个张量的量化类型，提升 GGUF 量化的透明度与可解释性，帮助本地大模型用户更理性地选择量化版本。

IBM发布Granite 4.1系列开源大模型（Apache 2.0），Unsloth提供21种GGUF量化版本。Simon Willison用鹈鹕SVG测试不同量化级别，发现3B模型在SVG生成上表现一致——都很差，揭示了模型选型的关键启示。

IBM Granite 4.1开源模型发布，Unsloth提供21种GGUF量化版本。Simon Willison用鹈鹕骑自行车SVG测试发现：3B小模型中量化级别对生成质量影响微乎其微，最小模型反而画出最好的自行车。