知识动态实体播客深度开发者关于

[控场AI]

AI 领域实时知识。所有信息可溯源验证，数据 24 小时内持续更新。

Powered by 240+ first-hand AI sources

知识库

知识动态
热门实体
播客

开发者

CLI
MCP Server
REST API
关于

© 2026 KongchangAI. 控场AI，获取最新、最准的 AI 领域知识

概念Dynamic Batching / 批处理优化

动态批处理

AI推理服务中的优化技术，将多个并发请求动态组合为批次进行处理，在延迟与GPU利用率之间取得平衡，显著提升推理吞吐量

来源文章

Perplexity搜索架构解析：嵌入排序与GPU推理优化实践9月11日

概览

提及次数: 1
知识事实: 0
关联实体: 0
类型: 概念

引用

URI

/knowledge/%E5%8A%A8%E6%80%81%E6%89%B9%E5%A4%84%E7%90%86

API

/api/v1/knowledge/entity/%E5%8A%A8%E6%80%81%E6%89%B9%E5%A4%84%E7%90%86

MCP

get_entity("动态批处理")