ONNX Runtime

Triton Inference Server是NVIDIA开源的模型服务化框架，支持动态批处理、模型并发执行，兼容TensorRT、PyTorch、TensorFlow、ONNX Runtime等推理后端

TensorRT通过算子融合、内核自动调优和内存优化来释放GPU硬件潜力

ONNX Runtime 是微软主导开发的开源机器学习推理与训练加速引擎

ONNX Runtime是微软开源的高性能推理引擎，支持CPU、GPU、NPU等多种硬件后端，并内置图优化、算子融合等加速手段

TensorRT是NVIDIA开发的推理引擎，ONNX Runtime是微软开发的推理引擎

FastEmbed采用ONNX Runtime作为推理引擎，不需要依赖PyTorch或TensorFlow

ONNX Runtime employs a layered architecture of graph optimization plus Execution Providers to support multiple hardware backends

FastEmbed-rs 底层借助 ONNX Runtime 来加载和运行量化后的模型

ONNX Runtime的图优化分为三个层级：基础优化、扩展优化和全量优化

ONNX Runtime的核心架构是可插拔的执行提供程序（Execution Provider）体系，包括CPU EP、CUDA EP、TensorRT EP、DirectML EP和CoreML EP等

在真实项目中，ONNX Runtime、TensorRT、TFLite Micro、OpenVINO 等推理框架的使用频率远高于 PyTorch 训练代码。

设备端运行AI模型通常利用量化、剪枝等技术将模型压缩后，在个人电脑的CPU、GPU或NPU上执行推理，常见框架包括llama.cpp、ONNX Runtime等。

推理加速工具包括TensorRT、ONNX Runtime、OpenVINO等，用于对模型进行图优化和硬件适配。

推理引擎是专门优化模型推理性能的软件组件，常见的有ONNX Runtime、TensorRT、llama.cpp等。

边缘部署常用工具包括TensorFlow Lite、ONNX Runtime和TensorRT。

BitLens 支持为 ONNX Runtime 生成 quantize_static 并附带 nodes_to_exclude。

主流推理运行时如 llama.cpp、vLLM、ONNX Runtime 大多依赖 Python 进行模型转换、图构建与调度。

在C++中集成推理引擎，常见做法是使用ONNX Runtime、whisper.cpp或TensorFlow Lite等后端，将模型转换为ONNX或GGUF格式后加载。

EdgeWise 选择开源 ONNX Runtime 推理引擎，让合作伙伴在 Linux、RT-OS、iOS 和定制 ASIC 等平台上自行编译选择器。

本地模型需要操作系统、驱动和运行时（如 DirectML、ONNX Runtime）共同完成图划分与算子映射，才能找到最合适的执行单元。