Gemma 4 12B
Google发布的Gemma系列开源语言模型,参数量为12B,适合本地部署及消费级硬件运行
时间轴 (近 90 天)
作者在同一台机器上用 76 个合成病例对比了三个 Gemma 变体:Gemma 4 E4B 达到 97%,Gemma 3 4B 为 78% 并出现 5 次误报,Gemma 4 12B 为 80% 且有 32 次调用超时。
谷歌 Gemma 4 的 12B 模型文件大小为 7.7 到 8GB,在 12GB 显存下实测运行占用 8.8GB 显存,剩余约 3.4GB(默认 4000 上下文)。
测试使用了Nvidia的管理程序和专用驱动,在本地运行了Qwen 3.5 9b、Nemotron 3 Nano 4b和Gemma 4 12B等模型。
在49张图片测试中,Gemma 4 12B正确识别45张,Gemma 4 31B正确47张,两者都出现将纯线材误判为充电器的问题,而MiniCPM-V没有犯这个错误。
Gemma 4 12B、Qwen3.5 9B和Ministral 3 8B均以Apache 2.0许可证公开权重。
在记忆召回测试中,12B模型100题答对82题,31B模型100题答对98题,且两个模型都没有编造答案
实验环境为单张NVIDIA H100,通过vLLM服务,测试模型为Gemma 4 12B和Gemma 4 31B,输入数据为5000万token的真实公开文本
在能装入32GB显存的中小模型上,RTX 5090领先(Gemma 4 12B约45%,GPT-OSS 20B超75%),但Qwen 3 27B从Q4的47%领先降到Q8的23%
作者主观评价 Bonsai 的宝塔场景细节最丰富,质量领先,Gemma 4 次之,Qwen 3.5 9B 输出崩坏
9B参数级别小模型市场的热门选择包括Gemma 4 12B、Qwen 3.5 9B和Ornith 1.5 9B
全部知识事实 (8)
在能装入32GB显存的中小模型上,RTX 5090领先(Gemma 4 12B约45%,GPT-OSS 20B超75%),但Qwen 3 27B从Q4的47%领先降到Q8的23%
60%待验证作者在同一台机器上用 76 个合成病例对比了三个 Gemma 变体:Gemma 4 E4B 达到 97%,Gemma 3 4B 为 78% 并出现 5 次误报,Gemma 4 12B 为 80% 且有 32 次调用超时。
50%待验证谷歌 Gemma 4 的 12B 模型文件大小为 7.7 到 8GB,在 12GB 显存下实测运行占用 8.8GB 显存,剩余约 3.4GB(默认 4000 上下文)。
50%待验证测试使用了Nvidia的管理程序和专用驱动,在本地运行了Qwen 3.5 9b、Nemotron 3 Nano 4b和Gemma 4 12B等模型。
50%待验证在49张图片测试中,Gemma 4 12B正确识别45张,Gemma 4 31B正确47张,两者都出现将纯线材误判为充电器的问题,而MiniCPM-V没有犯这个错误。
50%待验证Gemma 4 12B、Qwen3.5 9B和Ministral 3 8B均以Apache 2.0许可证公开权重。
50%待验证在记忆召回测试中,12B模型100题答对82题,31B模型100题答对98题,且两个模型都没有编造答案
50%待验证实验环境为单张NVIDIA H100,通过vLLM服务,测试模型为Gemma 4 12B和Gemma 4 31B,输入数据为5000万token的真实公开文本
50%