Flash Next
一个标称125B参数的大语言模型,采用混合专家(MoE)架构,其中约121B为MoE部分,支持Q4/Q2K量化部署
时间轴 (近 90 天)
据Reddit社区多位用户反馈,Qwen4家族尚未发布便已承载大量期待,而Flash Next作为“前哨”版本,成功为后续产品铺平了情绪道路。
Reddit社区近期围绕名为“Flash Next”的模型展开讨论,用户对即将到来的Qwen4家族充满期待。
Flash Next被发帖者称为“超棒的模型”,并有多位用户跟帖表达类似正面感受。
有用户用“quality meme”形容Flash Next的表现,表示没料到它能生成如此高质量的内容。
一位用户提到“每次大版本更新都是巨大跃升”,暗示该系列模型在版本演进中保持稳定进步节奏。
该125B模型主干中约121B是混合专家(MoE)部分,另有约51B的PLE查找表以及约4B的MTP模块,完整检查点接近180B
该模型每层有512个专家,但每个token只激活其中10个,真正参与计算的权重约6B
三套优化叠加后生成速度稳定在每秒9到10个token,但1万字长文的首字响应仍需等待约329秒
在RTX 3090(24GB显存)加24GB内存的配置上运行125B参数的Flash Next模型,生成速度稳定在每秒9到10个token,短文峰值可达18
全部知识事实 (9)
该模型每层有512个专家,但每个token只激活其中10个,真正参与计算的权重约6B
60%待验证Flash Next被发帖者称为“超棒的模型”,并有多位用户跟帖表达类似正面感受。
50%待验证有用户用“quality meme”形容Flash Next的表现,表示没料到它能生成如此高质量的内容。
50%待验证一位用户提到“每次大版本更新都是巨大跃升”,暗示该系列模型在版本演进中保持稳定进步节奏。
50%待验证据Reddit社区多位用户反馈,Qwen4家族尚未发布便已承载大量期待,而Flash Next作为“前哨”版本,成功为后续产品铺平了情绪道路。
50%待验证在RTX 3090(24GB显存)加24GB内存的配置上运行125B参数的Flash Next模型,生成速度稳定在每秒9到10个token,短文峰值可达18
50%待验证该125B模型主干中约121B是混合专家(MoE)部分,另有约51B的PLE查找表以及约4B的MTP模块,完整检查点接近180B
50%待验证三套优化叠加后生成速度稳定在每秒9到10个token,但1万字长文的首字响应仍需等待约329秒
50%待验证Reddit社区近期围绕名为“Flash Next”的模型展开讨论,用户对即将到来的Qwen4家族充满期待。
50%