产品TGI
Text Generation Inference
Hugging Face推出的开源大语言模型推理框架，支持高性能文本生成服务部署，常用于生产环境私有化模型部署
时间轴 (近 90 天)
10月31日
私有化部署常见的推理框架包括Ollama、vLLM、Text Generation Inference等。
待验证50%
9月21日
vLLM和Text Generation Inference（TGI）面向生产级部署，提供更高效的批处理与并发推理能力
待验证50%
Hugging Face推出的开源大语言模型推理框架，支持高性能文本生成服务部署，常用于生产环境私有化模型部署
私有化部署常见的推理框架包括Ollama、vLLM、Text Generation Inference等。
vLLM和Text Generation Inference（TGI）面向生产级部署，提供更高效的批处理与并发推理能力