[控场AI]
产品

Stratum

社区开源项目,专注于在消费级硬件上部署大规模语言模型,通过量化与MoE架构实现低显存运行千亿参数模型

时间轴 (近 90 天)

10月31日

Stratum 是一个本地推理工具,将常用专家保留在显存,其余专家放到内存,让 CPU 和 GPU 分摊计算,甚至将大查找表放到 SSD 上。

待验证50%
10月31日

Stratum 重点适配千文3.8 Flash、Next 以及 DeepSeek V4.1 Flash 这类超大 MOE 模型。

待验证50%
10月31日

Stratum 在 12G 的 5070 显卡、64G 内存的配置下运行 DeepSeek 2.0 BPW 版本,每秒大约输出 6 到 4 个 Token。

待验证50%
10月31日

Stratum 提供桌面 APP 和终端版本,但桌面 APP 中没有 DeepSeek,跑 DeepSeek 需使用终端版本。

待验证50%
10月13日

每秒 94 个 Token 的输出速度是在特定量化精度和上下文长度下测得的,实际体验会随提示词长度、并发数等因素波动。

待验证50%

全部知识事实 (5)

来源文章