#推理优化
共 61 篇相关文章
峰值内存调度新突破：精确实现与可证明最优性
本文解析峰值内存调度的最新研究：通过精确建模和语句置换实现可靠的峰值内存降低，提供可证明的最优性证书，并探讨选择性重计算的理论边界，为边缘AI推理优化提供新思路。
DeepSeek V4.1 Flash 1017技术拆解：MoE架构如何突破吞吐瓶颈
深度拆解DeepSeek V4.1 Flash 1017（Max）的技术架构：MoE动态路由如何解决专家饥饿、MLA如何压缩KV缓存突破内存墙，以及TTFT与吞吐提升背后的kernel级调优和部署硬约束。
Veloce-Engine：实时AI推理编排的技术内幕
深入解析Veloce-Engine实时AI推理编排层：自适应路由、语义缓存减少70%冗余调用、限流重试与流式响应。了解其架构设计、适用场景及定价信息。
GPUStack vLLM生产部署：KV Cache固定与OOM规避实战
基于四节点混合GPU集群的真实运维经验，详解GPUStack与vLLM生产部署中KV Cache固定、70B模型OOM规避、TTFT与RSS衰减排查的实战参数与决策边界。
DuckDB与Arrow称霸AI数据准备，为何在推理服务碰壁？
列式引擎DuckDB与Arrow在AI数据准备中表现卓越，但在推理服务中遭遇瓶颈。本文分析其结构性原因，并给出离线列式与在线行式存储分离的架构方案，强调Arrow作为零拷贝交换格式的真正价值。
从零实现GPT-2 KV Cache：正确性、延迟与内存实测
从零实现GPT-2 small的KV Cache并实测：logit误差6.1e-5，上下文1000时单Token延迟仅快6倍而非1000倍，内存公式72KiB/token外还有8.5MB cuBLAS workspace偏移，附多Token解码失败案例。
llama.cpp MoE缓存实测：T4上30B模型解码速度翻倍
llama.cpp新增MoE专家缓存功能，在免费Tesla T4上让Qwen3-30B-A3B解码速度从22.6提升到43.2 tokens/s。本文详解缓存机制、配置脚本、实测数据以及并发场景下的性能陷阱。
NVFP4 vs FP8 vs GGUF：16GB Ada显卡上解码快2.3倍
同一模型 Nemotron Dory 1.0 4B 在 RTX 4070 Ti SUPER 上对比 NVFP4、FP8、MXFP8、GGUF 与 BF16：NVFP4 解码快 2.3 倍，GSM8K 与 BF16 打平，FP8 长提示预填充领先，逐 token 保真度 MXFP8 最佳。
大模型推理全栈优化：GPU、CPU与前端加速
探索大模型推理的全栈优化实践：GPU层通过宽专家并行与EPLB实现负载均衡，CPU层优化All-Reduce消除通信瓶颈，前端采用NVIDIA Dynamo与Rust前端卸载Python处理，实现KV感知路由。
AMD MI355X 推理性能反超 B300：8卡吞吐高24.4%
AMD MI355X 在 SemiAnalysis AgentX 基准中展现推理实力：8卡配置下每 GPU 吞吐达 7,567 tok/s，比 NVIDIA HGX B300 高 24.4%，每美元 token 数高 87.4%。本文解析 vLLM 优化与 AMD kernel 如何缩小差距。
云上T4跑不满规格：Gemma 4解码因过热掉速7%
实测 Google Cloud 单卡 Tesla T4 在 Gemma 4 E2B 推理下的热漂移：冷态45°C解码115.3 tokens/s，热态77°C降至106.8，持续掉速7.4%，热节流从未触发，功耗墙与漏电流才是主因。
SSR框架：让小模型多模态搜索智能体告别冗长推理
SSR框架提出用选择替代生成的多模态推理新范式，让小模型搜索智能体不再生成冗长无效推理，大幅降低推理成本，为资源受限场景提供高效解决方案。
Delta Tokenizer：会话增量与多核并行如何让长提示词分词提速40倍
Delta Tokenizer是一种CPU分词前端方案，通过会话增量编码与多核分段并行，让单轮分词提速约40倍，SGLang中100K token的中位TTFT降低59%，P99 TTFT在负载下降低9.5倍。
GeoThinker-F：让多模态大模型摆脱外部3D编码器的空间智能新框架
GeoThinker-F提出内生预测世界表示框架，通过两阶段解耦训练让多模态大模型摆脱外部3D几何编码器依赖，实现3.6倍推理加速，延迟从1.45秒降至0.40秒，同时保持空间推理性能。
DoubtLess：免训练对比解码，让推理模型少想多对
DoubtLess 是一种免训练对比解码方法，用小推理模型引导大模型缩短思维链。在七个基准上让 Qwen3-32B 的 CoT 缩短 31% 且精度不变，编程 agent 场景每轮思考 token 减少 20%，可泛化到多个模型家族。
DeepSeek V4.1 Flash：读写分离如何重构长对话成本
DeepSeek V4.1 Flash 通过更短输入路径、共享注意力记忆与选择性重建，实现读写分离，重构长对话场景下的推理成本结构，降低多轮交互的边际算力开销。
LLMD项目揭秘：开源推理如何实现生产级扩展
IBM 杰出工程师 Carlos Costa 分享 LLMD 项目最新进展：开源推理如何实现生产级扩展，涵盖智能体服务性能、多租户 QoS、零停机运维等关键能力，并将在 PyTorch Conference 上与 Red Hat、Google 联合展示。
多节点LLM推理编排拓扑：性能瓶颈与架构取舍
深入解读多节点LLM推理编排拓扑评估：标准以太网下跨节点张量并行的同步延迟问题，以及分离式prefill/decode配合KV感知路由在高并发多轮场景下的可预测性优势与架构权衡。
