[控场AI]
概念推理部署 / Inference Serving

推理服务化

将训练好的模型封装为可用在线服务的过程,涵盖推理引擎选型、延迟与吞吐调优、多副本扩展、版本管理等工程实践

来源文章