#AI推理基础设施
共 3 篇相关文章
行业洞察·5 分钟
SGLang进军金融业：AI推理基础设施如何重塑华尔街
SGLang联合Crusoe AI、Cloudflare等举办金融AI推理活动，探讨LLM推理框架在交易、风控、合规等场景的落地应用，解析AI推理基础设施垂直化趋势及金融行业部署前景。
阅读全文 →
行业洞察·6 分钟
NVIDIA Blackwell创下金融LLM推理STAC-AI新纪录
NVIDIA Blackwell架构GPU在金融行业权威基准STAC-AI中刷新LLM推理性能纪录。深入解析Blackwell架构优势、TensorRT-LLM软硬件协同优化策略，以及大语言模型在金融交易情绪分析、风控合规等场景的应用前景。
阅读全文 →
深度解读·8 分钟
NVIDIA Dynamo多轮智能体交互：流式Token与工具调用深度集成
深入解析NVIDIA Dynamo框架对多轮智能体交互的支持，涵盖流式Token输出、工具调用结构化处理、状态管理及与MoE架构协同，助力开发者构建生产级AI Agent系统。
阅读全文 →