Qwen4
阿里巴巴正在训练的新一代千问大模型，采用MoE稀疏架构，目标参数规模为5万亿至10万亿，是通义千问系列的下一代旗舰模型
核心事实
时间轴 (近 90 天)
Qwen 仓库合并了一项更新，将以 Qwen4 开头的模型默认上下文从 256K 提高到 1M Tokens，涵盖 Max、Plus、Coder 等变体，测试代码中出现 Qwen4 Max 和 Qwen4.5 Max 等名称。
Qwen 阿姆斯特丹活动现场预告了 Qwen4 系列，展示了 Max、Flash、Plus 和 27B 四款型号。千问研究科学家郭东旭透露 CTO 给出的发布时间暗示为下周。
Qwen4所用架构的主模型为125B参数，每个Token只激活6B，采用MoE架构，包含512个专家，原生上下文262K。
Qwen4架构将单条残差连接扩展成四条分支，实测中有一条会自发变成长程通路。
Qwen4架构的训练成本仅为上一代的九分之一。
Qwen4架构的优化器换成Moong，并且Batch Size Warmup不再必要，反而省下18.8%的Step。
在Hugging Face搜索Qwen4官方仓库，目前结果为0个。
Qwen4仍在训练中，尚未发布。
Qwen4架构的嵌入层用当前词加前几个词查表，增加了510亿参数却几乎不增加算力，且该表可放在主机内存，不占显存。
据 Reddit 社区爆料，阿里通义千问团队下一代模型 Qwen4 将具备 1M（百万）token 的上下文窗口。
还有 20 条时间轴事件
全部知识事实 (20)
Qwen3.8 Flash Next的基准成绩为Qwen官方数据,尚待第三方独立验证
65%已验证Qwen系列在架构层面引入了GQA（分组查询注意力）机制，相比标准多头注意力降低了KV缓存的内存占用
65%待验证Qwen 3.5 Plus出自阿里巴巴
60%待验证Qwen 仓库合并了一项更新，将以 Qwen4 开头的模型默认上下文从 256K 提高到 1M Tokens，涵盖 Max、Plus、Coder 等变体，测试代码中出现 Qwen4 Max 和 Qwen4.5 Max 等名称。
50%待验证Qwen4架构的训练成本仅为上一代的九分之一。
50%待验证Qwen4架构的优化器换成Moong，并且Batch Size Warmup不再必要，反而省下18.8%的Step。
50%待验证Qwen4架构的嵌入层用当前词加前几个词查表，增加了510亿参数却几乎不增加算力，且该表可放在主机内存，不占显存。
50%待验证Qwen4架构将单条残差连接扩展成四条分支，实测中有一条会自发变成长程通路。
50%待验证Qwen4仍在训练中，尚未发布。
50%待验证在Hugging Face搜索Qwen4官方仓库，目前结果为0个。
50%待验证Qwen4所用架构的主模型为125B参数，每个Token只激活6B，采用MoE架构，包含512个专家，原生上下文262K。
50%待验证该爆料消息来自一个 GitHub PR（QwenLM/qwen-code#15762），其中包含了相关配置信息，并附有一张泄露的截图作为佐证。
50%待验证GitHub PR 本身是 qwen-code 仓库的变更，可能涉及代码模型的上下文配置，但被社区解读为 Qwen4 整体规格的线索。
50%待验证据 Reddit 社区爆料，阿里通义千问团队下一代模型 Qwen4 将具备 1M（百万）token 的上下文窗口。
50%待验证目前Qwen4和Kimi3.1在Arena上的出现仅为社区观察，官方尚未确认。
50%待验证有用户希望下一代模型“把N-gram推到极限”，并期待Qwen4 Flash Next拥有更大的N-gram表或更多专家。
50%待验证讨论中用户对“下一个27B模型”提出期待，希望在设计方面进行大量训练。
50%待验证据Reddit社区多位用户反馈，Qwen4家族尚未发布便已承载大量期待，而Flash Next作为“前哨”版本，成功为后续产品铺平了情绪道路。
50%待验证Qwen4 架构采用稀疏 MoE 思路，用大参数容纳知识、用低激活量控制推理成本
50%待验证基于下一代架构的 Qwen4 已经投入训练
50%