#LLM推理
共 24 篇相关文章
LLM推理能否超越KNN投票？表格分类检索增强的边界
新研究对比4个LLM与距离加权KNN在19个表格分类数据集上的表现，发现KNN平均精度始终领先，LLM仅在邻居标签低共识且距离较近时展现推理优势，为检索式表格ICL的模型选择提供实证边界。
llm-d 1.0 发布：缓存感知路由统一 TPU 与 GPU 推理
Google、Red Hat 与 IBM 联合发布 llm-d 1.0，Kubernetes 原生分布式 LLM 推理栈新增缓存感知路由、多租户流控、零停机升级与 Agent 感知路由，统一支持 vLLM、SGLang 及 TPU/GPU 异构集群。
UvA-MT的WMT26机器翻译方案：LLM推理时优化策略
UvA-MT团队在WMT26通用机器翻译任务中提交全LLM推理时方案：用顺序采样加精炼提示生成候选池，再以LLM成对评判和循环投票选出最佳译文，覆盖全部23个翻译方向。
一个LLM请求的九步解剖：从点击到响应的全链路
从一个"Summarize"按钮出发，拆解LLM应用请求的完整九步链路：入参验证、提示词拼接、token预算、prefill与decode推理、SSE流式传输、输出校验与安全重试。前端工程师视角，揭示模型之外七步工程契约才是LLM应用成败关键。
一台变两台：LLM推理拆分解耦，吞吐提升75%的工程逻辑
解析LLM推理中prefill与decode分离（PD disaggregation）的技术原理与生产实践：从Splitwise到Prime Inference的GB200调优数据，同GPU数量承载75%更多请求，KV传输开销降至3-4% TTFT。
RTX 3090 vs L40S实测：批处理大小如何颠覆性能与成本
实测RTX 3090与L40S在vLLM下的性能与成本：batch 1时3090略快且成本减半，batch 128时L40S反超，7B AWQ下3090仅0.46倍速度。选型取决于并发与GPU利用率。
GPU基准测试在说谎：热节流下的LLM推理该怎么测
30秒GPU基准测试为何误导容量规划？本文详解LLM推理在热节流下的正确测量方法：用nvidia-smi与NVML采集频率、温度、功耗时序数据，拆分prefill与decode，对比冷态与稳态性能，并给出锁频、量化选择与生产监控等止损手段。
前缀缓存为何漏掉相同请求？并发复用与单飞协调实战
在 Rust LLM 推理引擎 mini-vllm-rs 中，前缀缓存因发布时机问题漏掉并发相同请求。本文详解增量发布、精确输入单飞协调及 AI 生成状态机的简化过程，附完整基准数据与代码示例。
VRAM停车问题：如何消除60%的GPU闲置税
VRAM停车问题导致企业GPU利用率仅25%，每年每节点浪费16万美元。本文解析静态权重分配陷阱，提供Multi-LoRA共享主干、NVMe亚秒级权重流式传输和分时批处理套利三条工程规则，将计算效率从25%提升至85%以上。
NVIDIA Dynamo KV路由实战：智能路由配置降低TTFT 40%
详解NVIDIA Dynamo KV感知智能路由的配置方法，涵盖聚合式与分离式服务模式、核心参数调优策略、KV事件流架构及多后端支持，实现TTFT降低40%、吞吐提升25-30%的推理性能优化。
最优解码器竟是"倾斜温度"：LLM采样温度的新理论
LLM采样温度该怎么调？新论文将解码形式化为pass@k约束优化，证明最优策略是"倾斜温度"采样，并推导出温度随样本数递增的定理，提出J-EOS和CTD两种实用算法。
多轮记忆、混合精度与安全上线：推理服务如何追上Agentic负载
近期 vLLM、arXiv、Modal 等平台集中发布面向 Agentic 负载的推理优化：KV 缓存双向传输降低多轮 TTFT、混合精度成本模型、调度器会话亲和性权衡，以及镜像流量安全上线的工程实践。
35GB量化模型为何撑爆80GB GPU？KV Cache显存真相
为什么35GB的4-bit量化LLM仍会撑爆80GB显卡？本文拆解推理显存的四大组成，给出KV Cache精确计算公式，对比GQA与DeepSeek MLA的显存差异，并提供FP8 KV Cache等生产级防OOM方案。
被忽视的分词瓶颈：CPU如何拖慢大模型推理
分词长期被视为大模型推理中可忽略的环节，但当GPU加速到极致后，CPU上的分词反而成为瓶颈。本文整合Hugging Face、PyTorch与佐治亚理工的多方研究，分析GIL锁、智能体长历史累积如何拖慢推理，以及三条修复路径的分歧。
测试时扩展如何分配LLM推理的深度、宽度与反馈
测试时扩展如何在有限推理预算下分配深度、宽度与反馈资源？本文解析LLM推理的三种扩展维度及其权衡关系，探讨不同任务类型下的最优推理策略选择。
连续批处理为何拖慢了LLM推理引擎？一次Metal内核排查实录
连续批处理本应提升LLM推理吞吐，却让作者的Rust推理引擎mini-vllm-rs速度腰斩。本文复盘Candle Metal后端GEMV与GEMM内核切换引发的性能回退与数值差异，揭示批处理决策如何通过KV缓存产生长程影响。
ERRC：用熵再投资压缩张量并行LLM的GPU通信
PyTorch Ambassador Absalam Bande 提出 ERRC（熵再投资残差修正），通过压缩张量并行 LLM 推理中 GPU 间交换的数据，并用节省的空间补偿量化误差，提升跨 GPU 通信效率。本文解析其核心思路与应用价值。
用 Helion 构建高性能可移植的 vLLM 线性后端
本文解析将 Helion 高层 kernel DSL 集成进 vLLM 线性后端的技术实践，探讨如何通过自动调优在提升 LLM 推理性能的同时，用单一通用 kernel 降低实现复杂度并增强跨硬件可移植性。
