#LLM推理

共 24 篇相关文章

NVIDIA推出的AIPerf是一款面向大规模LLM推理的性能基准测试工具。本文解析为何单发请求无法评估真实性能，以及吞吐量、TTFT、ITL等关键指标在生产环境中的意义。

详解如何在AMD GPU上部署PD分离式SGLang推理集群，通过单一配置文件实现Prefill-Decode解耦的多节点部署，提升大模型推理吞吐量与延迟表现，附架构原理与适用场景分析。

NVIDIA Blackwell架构GPU在金融行业权威基准STAC-AI中刷新LLM推理性能纪录。深入解析Blackwell架构优势、TensorRT-LLM软硬件协同优化策略，以及大语言模型在金融交易情绪分析、风控合规等场景的应用前景。

系统梳理LLM推理能力的技术演进路线，涵盖Chain-of-Thought思维链、Tree-of-Thought、OpenAI o1与DeepSeek-R1推理模型的核心原理与差异，解读开源项目Awesome-LLM-Reasoning的研究趋势洞察。