待验证50% 置信事实精确时间
Stratum 是一个本地推理工具,将常用专家保留在显存,其余专家放到内存,让 CPU 和 GPU 分摊计算,甚至将大查找表放到 SSD 上。
1
来源数
50%
置信度
长期有效
时效性
2026/10/31
首次发现
来源
小显卡跑DeepSeek?GitHub热点项目让CPU和SSD分担显存压力
bilibiliIT咖啡馆2026/10/31
涉及实体
相关事实
待验证Strata采用'门铃'(doorbell)机制:GPU确定每层所需的10个专家并写入共享内存,CPU检测信号后分配任务,GPU和CPU同时处理同一层77% 相似待验证Strata是一个推理引擎,能让个人开发者在本地运行较大规模的模型,并获得可观的吞吐量。74% 相似待验证该插件采用本地推理,模型直接在用户自己的硬件(CPU/GPU)上运行,所有数据处理都在本机完成68% 相似待验证伯恩斯坦指出智能体把一次问答扩展成规划—检索—工具调用—执行—检查的完整过程,同时拉动GPU推理负载、CPU需求、内存缓存、数据库和存储66% 相似待验证Colibri采用专家按需读取的方式,只在需要时把对应的模型分片从磁盘加载进来,这种策略尤其契合MoE(混合专家)架构63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1120199API
curl https://kongchang.com/api/v1/knowledge/claims/1120199MCP
get_claim(id=1120199)