#大模型推理
共 45 篇相关文章
ProVe解码：大模型当提案者，投机解码反着来
ProVe解码反转投机解码角色，让大模型当提案者一次预测token块，32B模型实现2.5倍吞吐且无需草稿头，小验证者下可达2.7倍但精度略降。
投机解码为何能加速大模型推理？
投机解码为什么能加速大模型推理？本文解析其先猜后验的并行验证机制，说明接受率、草稿模型选择与批量大小如何影响加速效果，并澄清输出无损的原理。
接受率≠加速：有损投机解码的"长度膨胀"陷阱
有损投机解码中，松弛验证虽将每轮接受token数提升至1.34倍，却使完成长度膨胀1.54倍，抵消加速收益。研究指出接受率不能单独衡量解码速度，需同时报告完成长度与验证轮数。
32GB笔记本跑80B大模型：纯C引擎把专家流式塞进SSD
纯C推理引擎Genus在32GB内存无显卡笔记本上跑80B大模型，靠MoE专家流式加载实现24 tokens/s，内置MCP服务器与OpenAI风格接口，可对接VS Code代码补全。
端侧大模型推理：规格表不会告诉你的真实取舍
端侧大模型推理远不只是"没网络的云"。本文深入剖析内存硬限制、量化精度权衡、冷启动延迟与无自动扩容四大取舍，并附一份可直接落地的工程检查清单。
LoopOPD：让循环语言模型自我蒸馏，实现递归自我提升
arXiv 新论文提出 LoopOPD 与动态版 D-LoopOPD，一种针对循环语言模型（LoopLMs）的跨循环在线策略蒸馏框架，让模型用自身更深的递归计算作为监督来源，实现递归自我提升。仅用数学数据训练即可泛化到通用推理与代码生成任务。
外部引导何时真正帮助大模型推理？GA-GRPO的偏差-方差理论
新论文提出GA-GRPO统一框架，用偏差-方差理论回答外部引导何时帮助大模型推理，给出最优引导权重闭式解与极小极大下界，并在Qwen2.5-Math-7B上验证性能持平或更优且节省31% GPU成本。
FluidPD：原地弹性调度破解LLM推理的P/D资源失衡难题
arXiv新论文FluidPD提出面向Prefill-Decode分离LLM服务的SLO感知原地弹性方案，通过FluidToken和FluidRole两大机制应对资源失衡，在Azure生产负载上SLO达成率最高提升94.6个百分点。
一台机器跑8并发：Qwen3本地部署多任务实测
B站UP主实测在一台英伟达设备上用懒猫微服AI平台跑Qwen3 Flash Next模型，实现8路并发多任务并行。本文解析本地部署方案的硬件选择、并发表现及企业应用场景。
12GB显存跑180B大模型？Strata引擎本地部署深度解析
Strata推理引擎如何让12GB显存的RTX 5070跑起180B参数的Qwen大模型？本文深度解析其MoE稀疏激活、四层存储调度、CPU-GPU协同与投机解码架构，并核查44.8 token/s与"快3倍"数据的可信度。
Strata神项目实测：12G显卡本地跑176B千问大模型
开源项目Strata通过GPU+CPU+内存+SSD三层存储整机协同，让12G显卡也能流畅跑176B的Qwen3.8 Flash Next大模型，短聊天速度达93 token/s。本文详解其核心技术、量化档位选择与部署方法。
32GB显卡本地跑大模型：AMD R9700 对决 Intel B70
海外博主实测 AMD Radeon AI Pro R9700 与 Intel Arc Pro B70 两张 32GB 显卡本地跑大模型的真实差异：密集模型 AMD 领先 60%，MoE 场景打平，软件生态是最大分水岭。附每 token 成本与选购建议。
MQA与GQA详解：KV Cache如何降低大模型推理显存
深入解析 MQA 与 GQA 两种大模型推理优化技术：KV Cache 如何膨胀、MQA 如何通过共享键值削减 75% 显存、GQA 如何用组数 G 在速度与质量间取得平衡，以及它为何成为 LLaMA、Mistral 等主流模型的默认选择。
从1块3090到20台DGX Spark：本地大模型玩家的硬件进化史
一位Reddit用户记录了从单块RTX 3090到20台NVIDIA DGX Spark的本地大模型部署进化史，涵盖MoE内存卸载、多卡功耗瓶颈、保险丝跳闸，以及如何在家用集群上跑通Kimi K3等万亿参数开源模型。
Torch-TPU：让SGLang与vLLM原生跑在TPU上
Google 与 Meta 在 PyTorch 大会介绍 Torch-TPU：一个 PyTorch 原生 TPU 后端，让 SGLang 和 vLLM 推理引擎原生运行在 TPU 上，保留调度器、批处理与服务 API，实现模型与新特性零成本流转。
IQuest-Q1 深度解析：320B MoE 模型如何重塑智能编程
IQuest-Q1 是面向智能编程的 320B MoE 模型，15B 激活参数、256 专家、512K 超长上下文，并在 vLLM 上获得 day-0 支持。本文深度解析其混合 KV 缓存、sink attention 与 EAGLE 推测解码等关键技术。
vLLM 发布 v0.31.0：为 Transformers 版本设置上限约束
vLLM 发布 v0.31.0 版本，核心改动是在依赖项中为 Transformers 库添加版本上限约束，提升兼容性与部署稳定性。本文解析该改动的技术动机与对使用者的实际影响。
SGLang v0.5.21 发布：PD 角色热切换与 Rust 前缀缓存
SGLang v0.5.21 正式发布，汇集 227 位贡献者的 779 个 PR，带来 PD 实例运行时角色热切换、Rust 前缀缓存默认启用、新增 Decisions/Score 判别类 API，以及投机解码与多模型加速等重磅更新。
