产品
Stratum
社区开源项目,专注于在消费级硬件上部署大规模语言模型,通过量化与MoE架构实现低显存运行千亿参数模型
时间轴 (近 90 天)
10月31日
Stratum 是一个本地推理工具,将常用专家保留在显存,其余专家放到内存,让 CPU 和 GPU 分摊计算,甚至将大查找表放到 SSD 上。
待验证50%
10月31日
Stratum 重点适配千文3.8 Flash、Next 以及 DeepSeek V4.1 Flash 这类超大 MOE 模型。
待验证50%
10月31日
Stratum 在 12G 的 5070 显卡、64G 内存的配置下运行 DeepSeek 2.0 BPW 版本,每秒大约输出 6 到 4 个 Token。
待验证50%
10月31日
Stratum 提供桌面 APP 和终端版本,但桌面 APP 中没有 DeepSeek,跑 DeepSeek 需使用终端版本。
待验证50%
10月13日
每秒 94 个 Token 的输出速度是在特定量化精度和上下文长度下测得的,实际体验会随提示词长度、并发数等因素波动。
待验证50%
全部知识事实 (5)
待验证
Stratum 是一个本地推理工具,将常用专家保留在显存,其余专家放到内存,让 CPU 和 GPU 分摊计算,甚至将大查找表放到 SSD 上。
50%待验证Stratum 重点适配千文3.8 Flash、Next 以及 DeepSeek V4.1 Flash 这类超大 MOE 模型。
50%待验证Stratum 在 12G 的 5070 显卡、64G 内存的配置下运行 DeepSeek 2.0 BPW 版本,每秒大约输出 6 到 4 个 Token。
50%待验证Stratum 提供桌面 APP 和终端版本,但桌面 APP 中没有 DeepSeek,跑 DeepSeek 需使用终端版本。
50%待验证每秒 94 个 Token 的输出速度是在特定量化精度和上下文长度下测得的,实际体验会随提示词长度、并发数等因素波动。
50%