#LLM推理性能
共 3 篇相关文章
行业洞察·5 分钟
SGLang进军金融业：AI推理基础设施如何重塑华尔街
SGLang联合Crusoe AI、Cloudflare等举办金融AI推理活动，探讨LLM推理框架在交易、风控、合规等场景的落地应用，解析AI推理基础设施垂直化趋势及金融行业部署前景。
阅读全文 →
行业洞察·6 分钟
NVIDIA Blackwell创下金融LLM推理STAC-AI新纪录
NVIDIA Blackwell架构GPU在金融行业权威基准STAC-AI中刷新LLM推理性能纪录。深入解析Blackwell架构优势、TensorRT-LLM软硬件协同优化策略，以及大语言模型在金融交易情绪分析、风控合规等场景的应用前景。
阅读全文 →
深度解读·5 分钟
LLM每秒10个Token有多快？直观感受Token生成速度的开源工具
通过开源工具直观体验LLM不同Token生成速度（5-800 TPS）的实际效果，帮助开发者理性选择模型、优化推理性能，告别对TPS数字的盲目追求。
阅读全文 →