[控场AI]
概念Auto Scaling / 自动扩缩容

端点自动扩缩容

通过配置最小/最大实例数和触发指标阈值实现推理端点实例的自动增减,在保证响应时间的同时控制成本,但存在冷启动延迟

来源文章