#推理优化
共 61 篇相关文章
从第一性原理理解vLLM与SGLang：推理引擎核心技术拆解
从第一性原理拆解vLLM与SGLang推理引擎的核心机制：PagedAttention如何减少显存碎片，连续批处理如何提升吞吐，RadixAttention与DSL调度如何优化前缀复用和复杂生成流程，并给出选型建议。
TensorRT全局性能调优器：突破单一构建路线的性能优化
解读 NVIDIA TensorRT Global Performance Tuner：为何单一构建路线难以逼近硬件极限，全局性能调优如何把编译从手工试错变为可配置搜索，以及对推理部署流水线的实际影响。
Kimi K3.1 Pro双版本亮相：高速版成焦点
Kimi K3.1 Pro 与 K3.1 Pro Highspeed 双版本发布引发 Hacker News 热议。本文解析标准版与高速版的差异逻辑、社区对版本透明度与定价的讨论，以及开发者在模型选型与架构路由上的实际决策建议。
DeepSeek开源推理引擎DeepInfer：把省钱的门道全摊开了
DeepSeek开源推理引擎DeepInfer与编解码组件Recipe，本文深度拆解PD分离、三级KV缓存、SWA有界重放、投机解码与零开销批调度等省钱门道，并分析38美元单位经济的真实含义与开源边界。
DeepInfer开源：单卡年入33万美元，推理框架如何颠覆AI算力经济
DeepSea开源推理框架DeepInfer，公开单卡年营收超33万美元、毛利率最高96.94%的数据。本文解析其预填充/解码分离架构与KV Cache落盘如何将推理成本降低96%，并对比挖矿收益确定性。
DeepSeek开源推理引擎DeepInfer：AI成本战与国运之争
DeepSeek开源推理引擎DeepInfer，Apache 2.0许可，预填充吞吐提升25倍，支持英伟达SM100与华为昇腾950。本文深度解析其性能优化、开源策略与AI成本战背后的国运博弈。
DeepSeek开源推理框架Deepinflow：AI价格战打到后厨
DeepSeek开源内部推理框架Deepinflow，公开高性能算子、并行策略、推测解码等优化经验，直指OpenAI等巨头的高价API模式，用部署效率开源挑战AI定价逻辑，推动大模型推理从奢侈品走向公共基础设施。
DeepSeek开源Infra全景地图：普通程序员该看懂什么
一张图看懂 DeepSeek 开源基础设施：从 Flash MLA、DeepGEMM 算子，到 DeepEP 通信、3FS 存储、DeepInfer 推理框架，梳理各库解决什么问题、如何拼接，以及普通程序员能直接带走的设计思路。
DeepSeek开源推理框架DeepInfer，本地大模型部署效率革命
DeepSeek开源内部推理框架DeepInfer，集成推测解码、MoE异步调度、高性能算子等优化，聚焦长上下文缓存开销，提升本地大模型部署效率。本文解析其技术思路与实测表现。
DeepSeek开源DeepInfer：72小时上下文缓存如何重构AI推理成本
DeepSeek发布开源推理框架DeepInfer，通过72小时上下文缓存大幅降低AI推理成本，单卡每小时可创收38美元。本文拆解其技术机制、硬件兼容策略，以及开源与闭源路线之争背后的中美博弈。
DeepSeek开源DeepInfer推理引擎，为何引发美国封禁？
DeepSeek开源推理引擎DeepInfer，支持商用，性能数据亮眼，却遭美国联邦民事部门封禁。本文解析DeepInfer的技术特点、开源意义及封禁背后的博弈。
DeepSeek开源推理框架DeepInfer：AI推理成本砍半的秘密
DeepSeek开源推理框架DeepInfer，首次公开线上推理的工程秘密。本文拆解PD分离、KV Cache、MoE负载均衡与投机解码，看它如何把单卡收入做到38美元/小时、96%输入免重算，并分析开源边界与行业影响。
4台DGX Spark实测DeepSeek V4.1 Flash：本地推理生产力如何？
4台DGX Spark以200G DAC环形互联实测DeepSeek V4.1 Flash本地部署：代码生成119.8 Token/s，16路合计369.9 Token/s，100万上下文首Token等待近5分钟，缓存命中后降至0.4秒。附四个Agent任务实测与部署流程。
GLOBE：几何引导的推理早停，输出减半不损精度
GLOBE 是一种无需训练的在线早停算法，通过单位球面语义轨迹识别推理是否已可停止，在五个基准上减少 49.7% 输出 token 和 51.0% 时延，精度与完整 CoT 相当。
自建推理栈：专用GPU上跑生产级AI Agent的实战指南
基于Akamai技术工作坊实录，详解如何在专用GPU上自建生产级AI Agent推理栈：vLLM部署、显存预算、FP8量化实测收益、投机解码避坑与并发调优方法。
Deepgram 语音AI优化：Nova-3 移植 AWS Trainium2 实战
Deepgram 将 Nova-3 语音模型移植到 AWS Trainium2，通过 Neuron 栈适配、内核级调优和 Rust 数据并行运行时，实现批量推理吞吐提升与成本下降。本文解析其优化路径与技术启示。
一台变两台：LLM推理拆分解耦，吞吐提升75%的工程逻辑
解析LLM推理中prefill与decode分离（PD disaggregation）的技术原理与生产实践：从Splitwise到Prime Inference的GB200调优数据，同GPU数量承载75%更多请求，KV传输开销降至3-4% TTFT。
vLLM推出基于推送的KV传输：分离式推理TTFT提升3倍
vLLM 推出基于推送的 NIXL 连接器，优化分离式推理中的 KV 缓存传输。在 Amazon EC2 P5en 与 AWS EFA 上，TTFT 提升高达 3 倍，TPOT 改善 30%。
