Gemma 4
Gemma 4是Google发布的开源大语言模型系列,参数规模为310亿(31B)。该模型基于Transformer架构,支持文本理解、生成与多步推理等任务,面向研究者和开发者开放权重,可用于本地部署与下游任务微调。作为Gemma系列的迭代版本,其设计目标是在保持较低资源需求的同时提供较强的通用语言处理能力。
核心事实
时间轴 (近 90 天)
在同一个包含200个中高难度任务的数据集上,Gemma 4能独立解决约53%的任务。
在评估中,启用完整上下文窗口(256K)使小模型任务成功率从26%提升到53%。
在一个包含200个中高难度任务、消耗近1.31亿token的数据集上,使用Gemma 4的成本不到9美元(通过商业网关调用),而前沿模型的成本可能高出20到200倍。
Gemma 4作为Gemma系列较新版本,在指令遵循与生成质量上有所提升,同时保持较低的显存与算力需求。
该卫星搭载的TPU正在运行Google DeepMind的Gemma 4模型。
在轨TPU完成了端到端的模型推理,输出是可验证的生成内容。
Gemini Nano 4构建于开源模型Gemma 4之上,通过ML Kit API在受支持的旗舰Android设备上直接调用,模型由Android系统交付,应用无需打包模型。
Gemma 4 的产品矩阵:E2B、E4B 面向手机,12B 统一模型面向笔记本(移除视觉编码器),更大尺寸提供全稠密和混合专家(MoE)两种形态。
音频模态首次出现在 Gemma 3n,在 Gemma 4 中扩展到 E2B、E4B 和 12B 模型,支持开箱即用的 35 种以上语言。
Gemma 4 采用可变宽高比处理视觉输入,保留原始图片比例,显著提升 OCR 表现。
还有 40 条时间轴事件
全部知识事实 (20)
Gemma 4的26B MOE模型采用混合专家架构,拥有260亿总参数但任意时刻仅约40亿参数处于激活状态
80%已验证Gemma 4采用Apache 2.0许可证,允许完全的商业自由使用
75%已验证Gemma 4的1B/2B模型量化后仅需4GB显存即可运行
65%待验证全部四种Gemma 4模型都支持文本和图片输入,Edge模型(E2B和E4B)还额外支持音频输入
90%待验证Gemma 4支持完全离线状态下的图像文字提取(OCR),采用视觉-语言多模态架构
90%待验证Gemma 4大模型上下文窗口可达256,000 Token
90%待验证所有Gemma 4模型原生支持多模态(文本、图像、最多30秒音频输入),上下文窗口为128K Token,支持超过40种语言
85%待验证Gemma 4引入了多模态能力,Qwen3支持超长上下文,DeepSeek采用MoE(混合专家)架构
85%待验证使用Gemma 4系列模型验证了模型权重与Harness状态的联合学习效果,发现单独的监督微调和离线强化学习预热都不能让模型取得里程碑进展,只有联合学习循环才能产生持续提升
85%待验证Gemma 4的1B/2B模型自带语音识别功能
80%待验证Google在Gemma 4中实际应用了MTP技术
80%待验证Gemma 4使用滑动窗口注意力(SWA)架构,该架构在处理数千行混淆JavaScript时导致模型遗忘早先读入的关键上下文
80%部分验证EmbeddingGemma 2 是谷歌基于 Gemma 4 架构打造的多模态嵌入模型,能够将文本、图像、音频和视频编码到共享的 768 维向量空间中
75%待验证使用Gemma 4 2B版本本地运行Codex时,处理速度大约每秒30到40个Token
75%待验证v0.40.10-rc0 为 Gemma 4 暴露了 hidden-state taps 和 raw logits,以支持推测解码。
70%部分验证谷歌称 Gemini 4 Argon 帮助重构了 Chrome 庞大的代码库,短短几周完成了数月工程,并将内部智能体代码提交量增加超过 35%。
65%待验证在同一个包含200个中高难度任务的数据集上,Gemma 4能独立解决约53%的任务。
50%待验证在一个包含200个中高难度任务、消耗近1.31亿token的数据集上,使用Gemma 4的成本不到9美元(通过商业网关调用),而前沿模型的成本可能高出20到200倍。
50%待验证在评估中,启用完整上下文窗口(256K)使小模型任务成功率从26%提升到53%。
50%待验证Gemma 4作为Gemma系列较新版本,在指令遵循与生成质量上有所提升,同时保持较低的显存与算力需求。
50%