#TensorRT C++推理

共 4 篇相关文章

Homebench是一款开源的本地大模型评测工具，从速度、内存占用和输出质量三个维度综合评估LLM在本地硬件上的真实表现，帮助开发者做出最优的模型选型和量化方案决策。

深入分析为何团队选择自研C/C++推理引擎而非使用PyTorch、TensorRT等通用框架，从性能优化、依赖最小化、部署简化等维度探讨自研的技术动因、适用场景与长期维护成本。

Redis之父antirez开源ds4项目，用纯C语言打造DeepSeek 4 Flash与PRO本地推理引擎，原生支持Metal、CUDA和ROCm三大GPU后端，GitHub斩获近2万Stars。本文深度解析ds4的技术选型、多后端架构与本地推理价值。

Manticore Search团队通过重构ONNX推理路径，将文本嵌入计算速度提升14倍。本文深度解析批处理、会话复用、零拷贝内存优化与线程调优四大核心手段，为向量检索系统建设提供实践参考。