#大模型推理

共 45 篇相关文章

NVIDIA 与 Red Hat 联合为 vLLM 增设「最佳应用」赏金，聚焦 33B 以下小型开源模型的真实部署与推理优化。本文解读活动信号、参数上限逻辑及对开发者的实战参考价值。

vLLM v0.29.0正式发布，Model Runner V2成为所有模型的默认引擎。本次更新汇集277位贡献者的594次提交，涵盖Kimi、DeepSeek模型优化、Mamba前缀缓存、投机解码可观测性及RL权重P2P同步等关键升级。

一篇Hacker News讨论指出，经典LRU缓存淘汰算法远比众多KV-Cache优化论文所暗示的更难被超越。本文剖析基准测试偏差、隐藏工程成本等问题，为大模型推理缓存优化提供审慎视角。

实测智谱GLM 5.1 High Speed API，满血旗舰模型输出速度达400 Token/s。从草图还原页面到零基础生成完整解谜游戏，验证速度与能力兼得的AI编程新体验。

深度解析微软开源Tutel MoE优化库，支持FP8、NVFP4、MXFP4多精度计算，适配DeepSeek、Kimi-K2、Qwen3等主流MoE模型，解决All-to-All通信瓶颈与显存管理难题。