#显卡跑大模型
共 3 篇相关文章
·16 分钟
Mesh LLM：用多台旧电脑拼出虚拟超级显卡跑大模型
Mesh LLM 是一款开源分布式推理框架，通过模型分层拆分，将多台普通设备聚合成「虚拟超级显卡」，让小显存机器也能运行数百GB的超大语言模型。本文详解其工作原理、跨平台安装体验，以及网络带宽这一不可回避的物理瓶颈。
阅读全文 →
·9 分钟
LLM推理速度计算公式：显存带宽决定tokens/sec
详解为什么显存带宽(GB/s)而非显存容量决定大模型本地推理速度。提供tokens/sec计算公式，对比主流显卡带宽数据，给出实用选卡决策顺序，帮你用两个数字精准预测本地大模型生成速度。
阅读全文 →
科技前沿
每日AI新鲜事·07月28日午间版：Kimi K3民间部署与OpenAI拒入…
·1 分钟
每日AI新鲜事·07月28日午间版：Kimi K3民间部署与OpenAI拒入安全联盟
2026年07月28日午间版 AI新闻速递+热点深度讨论
阅读全文 →