TensorRT
NVIDIA推出的高性能深度学习推理优化器与运行时，自2015年发布，支持算子融合、精度校准（FP32/FP16/INT8/FP8）、内核自动调优、动态形状，是GPU推理部署的事实标准工具链
核心事实
时间轴 (近 90 天)
RTX 软件栈包括用于实时光追与神经渲染的 SDK（如 DLSS、RTXDI）、用于 AI 推理加速的 TensorRT 与 CUDA，以及模型优化与部署工具。
使用 TensorRT 量化和优化过的模型可以直接在游戏运行时以相同后端加载，无需为不同目标平台重写推理代码。
在真实项目中，ONNX Runtime、TensorRT、TFLite Micro、OpenVINO 等推理框架的使用频率远高于 PyTorch 训练代码。
TensorRT 的启发式代价模型在构建时不实际运行网络，而是估算每个候选 tactic 的耗时并逐层贪心选优，忽略层间交互与端到端效应，误差会在深层网络中累积。
TensorRT 默认构建策略是启发式的，根据内置代价模型快速收敛到一条看起来合理的路线，但通常离硬件极限还有距离。
NVIDIA 在开发者博客中提出，将训练好的神经网络部署到 GPU 本质上是一个编译问题，同一模型存在多种合法实现路径，不同路径在延迟、吞吐和显存占用上差异显著。
传统 TensorRT 工作流通常只走一条构建路线，依赖人工调参；Global Performance Tuner 将单路线编译升级为多路线搜索。
将构建路线搜索纳入 CI/CD 自动化流程，每次模型变更触发带时间预算的调优任务，并将 engine 与性能基线一并入库，可及早发现性能回归。
TensorRT 提供 BuilderConfig 级别的调优开关（如 setTimingCache、setOptimizationLevel 以及 tactic 源选择），但这些开关通常只影响单次构建内部的搜索深度，而非在多次独立构建之间做横向比较。
NVIDIA 在 TensorRT 11.1 中引入了 Global Performance Tuner（全局性能调优器）。
还有 40 条时间轴事件
全部知识事实 (20)
TensorRT 是 NVIDIA 提供的高性能推理优化引擎，能将 PyTorch/ONNX 模型编译为针对 GPU 优化的执行引擎，通常可将推理速度提升 2-5 倍
90%已验证NVIDIA的CUDA生态是AI推理行业的事实标准
85%已验证CUDA自2006年推出以来已成为AI/深度学习领域事实上的行业标准，PyTorch、TensorFlow等主流框架的默认后端均为CUDA
80%已验证CUDA是NVIDIA于2006年推出的并行计算平台和编程模型
80%已验证TensorRT通过算子融合、内核自动调优和内存优化来释放GPU硬件潜力
80%已验证TensorRT的算子融合将计算图中多个连续的小算子合并为一个大算子，减少GPU内核启动次数和中间结果的内存读写；典型融合操作可将卷积、批归一化和激活函数三步合并为单次GPU内核调用
80%已验证Triton Inference Server是NVIDIA开源的模型服务化框架，支持动态批处理、模型并发执行，兼容TensorRT、PyTorch、TensorFlow、ONNX Runtime等推理后端
80%已验证NVIDIA 软件栈从底层到应用层包括 CUDA、cuDNN、cuBLAS、TensorRT、TensorRT-LLM、Triton Inference Server 和 NIM
75%已验证TensorRT支持FP32/FP16/INT8/FP8多种精度校准
75%已验证TensorRT-LLM是NVIDIA专为大语言模型推理优化而开发的开源框架
75%已验证INT8量化、通道剪枝等模型压缩技术可在精度损失低于1% mAP的前提下将推理速度提升2-4倍
70%已验证CUDA生态涵盖cuDNN、cuBLAS、NCCL等核心组件，PyTorch、TensorFlow等主流框架均以CUDA为首要加速后端
65%已验证INT8量化通过将32位浮点权重映射到8位整数，在几乎不损失精度的前提下将模型体积压缩75%
65%已验证CUDA自2007年由英伟达推出，形成了涵盖cuBLAS、cuDNN、TensorRT在内的完整加速库体系
65%已验证混合精度训练理论上可将显存占用减少近一半，并在支持 Tensor Core 的 GPU（如 T4、V100、A100）上实现 2-8 倍计算加速
65%已验证CUDA自2007年发布以来积累近二十年，其护城河体现在cuDNN、TensorRT、NCCL等底层优化库
65%已验证TensorRT是NVIDIA开发的推理引擎，ONNX Runtime是微软开发的推理引擎
65%已验证NIM（NVIDIA Inference Microservices）是英伟达在2024年GTC大会上推出的产品，将预优化AI模型封装为标准化容器镜像，支持兼容OpenAI API的接口调用
75%待验证TensorRT optimizes inference performance through layer fusion, precision calibration, and automatic kernel tuning
90%待验证TensorRT能针对CUDA和GPU优化张量运算，进一步提升性能
90%