TensorRT-LLM
TensorRT-LLM是NVIDIA推出的开源推理优化库，专为大型语言模型（LLM）的高效部署而设计。它基于TensorRT推理引擎构建，提供图优化、量化、KV缓存管理等技术，支持在NVIDIA GPU上加速Transformer类模型的推理计算，适用于数据中心和云端大规模语言模型服务场景。
核心事实
时间轴 (近 90 天)
部署开放权重模型时需配套考虑推理框架（如vLLM、llama.cpp、TensorRT-LLM）、显存与吞吐的权衡、以及偏见与安全过滤机制。
TensorRT-LLM 在作者的并行测试中并未跑赢 vLLM，说明编译优化的收益高度依赖具体模型、设置和批次形态。
在 8GB VRAM 的 RTX 3060 Ti 上同时发出 100 个请求，llama.cpp 耗时 9.2 秒，vLLM 仅 1.6 秒，TensorRT-LLM 约 3.6 到 3.8 秒，Ollama 即使开启 num_parallel=16 依然很慢，Hugging Face Transformers 的并行表现“完全不行”。
vLLM、TensorRT-LLM等推理框架对吞吐和延迟影响很大，且对模型结构的支持程度不一。
FlashAttention 等高效算子已被深度集成到 PyTorch、TensorRT-LLM、vLLM 等主流框架中。
英伟达的 GPU 与 CUDA 生态、TensorRT-LLM 等推理加速库，是当前开源模型生产部署最主要的硬件与软件支撑。
DeepInfer的LLM类文件头标注'Derived from vLLM, Modified by DeepSeek'，表明其基于vLLM构建，并参考了SGLang和TensorRT-LLM。
推理框架是专门用于高效运行已训练大模型的软件系统，核心任务包括计算图优化、算子融合、内存管理、批处理调度以及量化推理等。
主流开源推理框架包括 vLLM（以 PagedAttention 著称）、SGLang（以 RadixAttention 和结构化输出见长）、TensorRT-LLM（NVIDIA 深度优化）以及 Hugging Face TGI。
该部署方案使用 SGLang 作为推理引擎，社区还有 TensorRT-LLM 等新引擎在跟进。
还有 40 条时间轴事件
全部知识事实 (20)
TensorRT 是 NVIDIA 提供的高性能推理优化引擎，能将 PyTorch/ONNX 模型编译为针对 GPU 优化的执行引擎，通常可将推理速度提升 2-5 倍
90%已验证NVIDIA的TensorRT-LLM针对其硬件架构深度优化推理速度
85%已验证TensorRT-LLM是NVIDIA推出的推理优化方案，通过算子融合、量化（INT8/FP8）、In-flight Batching等技术实现推理性能优化
85%已验证vLLM、TensorRT-LLM、llama.cpp是LLM推理加速领域的代表性开源框架
80%已验证vLLM 和 TensorRT-LLM 等现代推理框架通过连续批处理（Continuous Batching）和 PagedAttention 等技术提升 GPU 利用率
80%已验证TensorRT通过算子融合、内核自动调优和内存优化来释放GPU硬件潜力
80%已验证DeepInfer的LLM类文件头标注'Derived from vLLM, Modified by DeepSeek'，表明其基于vLLM构建，并参考了SGLang和TensorRT-LLM。
75%已验证推理栈是大模型部署中介于硬件与业务应用之间的软件层，涵盖模型加载与权重分片、KV Cache 管理、连续批处理、量化推理及请求调度等模块
75%已验证NVIDIA 软件栈从底层到应用层包括 CUDA、cuDNN、cuBLAS、TensorRT、TensorRT-LLM、Triton Inference Server 和 NIM
75%已验证NVIDIA 在 Blackwell 架构（SM 100/103，如 B100、B200 系列）中为 NVFP4 设计了专用 Tensor Core 指令 mma.kind::mxf4，并采用每 16 个元素为一组的 FP8 缩放因子机制
75%已验证TensorRT-LLM是NVIDIA专为大语言模型推理优化而开发的开源框架
75%已验证推理框架是专门用于高效运行已训练大模型的软件系统，核心任务包括计算图优化、算子融合、内存管理、批处理调度以及量化推理等。
70%已验证vLLM、TensorRT-LLM等推理引擎通过PagedAttention、连续批处理等技术提升GPU吞吐量
65%已验证在LLM推理场景中GPU显存容量往往比算力峰值更为关键
65%已验证NIM（NVIDIA Inference Microservices）是英伟达在2024年GTC大会上推出的产品，将预优化AI模型封装为标准化容器镜像，支持兼容OpenAI API的接口调用
75%待验证NVIDIA NIM内置了TensorRT-LLM等推理加速引擎
85%待验证TensorRT-LLM和vLLM都提供了可扩展的采样接口，允许开发者插入自定义的Logits Processor，这是集成语法约束解码的技术入口
85%待验证Dynamo与NVIDIA的TensorRT-LLM推理后端深度集成，同时也支持vLLM等其他推理引擎作为后端
85%待验证TensorRT-LLM专门为Blackwell引入了FP4量化推理路径，并针对Blackwell的新型Tensor Core单元重写了GEMM内核
80%待验证TensorRT-LLM等推理框架在首次运行时需要进行算子融合、精度校准和Kernel自动调优，对大模型可能额外耗时数分钟
80%