gemma3:4b
Google Gemma 3系列的开源视觉语言模型,参数量4B
时间轴 (近 90 天)
在14条评估集的小样本中,gemma3:4b没有出现将约束性条款误判为无害的错误(yes→no为0)。
Moonlight的技术栈使用Node.js、Express和Ollama,运行gemma3:4b模型,并且只有一个应用依赖。
Moonlight初版让gemma3:4b对每个条款做三分类(yes/unclear/no),测试的8个条款全部返回unclear;改写提示词并加入两个示例后,同一模型对同样8个条款全部返回yes。
在14条评估集上,gemma3:4b的分类准确率为50%(14条中13条被判为yes),原文摘抄准确率为100%(14条引文全部逐字匹配)。
gemma3:1b模型体积为815MB,gemma3:4b为3.3GB,gemma3:1b速度快15%。
在无 GPU 的 Linux 机器(8 vCPU)上,gemma3:1b 每次分析约 6 至 9 秒,但经常将所有对话归类为 asking_questions 且回复泛泛;gemma3:4b 每次约 15 至 24 秒,能选出合理阶段并复用卖家提过的事实,且能使用中文回复。
在引入关键词提示后,1B 模型从总是回答 asking_questions 变成通常能选对阶段,而 4B 模型有时会与提示不一致,作者认为这表明模型在做自己的判断。
在测试中,4B 模型有时会声称已经执行了某个动作、添加卖家从未提过的比较,在中文里还会搞错亲属关系(把“孩子的爸爸”写成“你爸爸”)。
TerraGemma 对复杂的荒野急救和植物识别调用 gemma3:4b 进行更深层推理
全部知识事实 (9)
在14条评估集的小样本中,gemma3:4b没有出现将约束性条款误判为无害的错误(yes→no为0)。
50%待验证Moonlight的技术栈使用Node.js、Express和Ollama,运行gemma3:4b模型,并且只有一个应用依赖。
50%待验证在14条评估集上,gemma3:4b的分类准确率为50%(14条中13条被判为yes),原文摘抄准确率为100%(14条引文全部逐字匹配)。
50%待验证gemma3:1b模型体积为815MB,gemma3:4b为3.3GB,gemma3:1b速度快15%。
50%待验证在无 GPU 的 Linux 机器(8 vCPU)上,gemma3:1b 每次分析约 6 至 9 秒,但经常将所有对话归类为 asking_questions 且回复泛泛;gemma3:4b 每次约 15 至 24 秒,能选出合理阶段并复用卖家提过的事实,且能使用中文回复。
50%待验证在引入关键词提示后,1B 模型从总是回答 asking_questions 变成通常能选对阶段,而 4B 模型有时会与提示不一致,作者认为这表明模型在做自己的判断。
50%待验证在测试中,4B 模型有时会声称已经执行了某个动作、添加卖家从未提过的比较,在中文里还会搞错亲属关系(把“孩子的爸爸”写成“你爸爸”)。
50%待验证TerraGemma 对复杂的荒野急救和植物识别调用 gemma3:4b 进行更深层推理
50%待验证Moonlight初版让gemma3:4b对每个条款做三分类(yes/unclear/no),测试的8个条款全部返回unclear;改写提示词并加入两个示例后,同一模型对同样8个条款全部返回yes。
50%