[控场AI]
产品

Docker Model Runner

Docker Model Runner 是 Docker 平台提供的 AI 模型本地运行组件,允许开发者使用标准 Docker 命令拉取、管理和运行大语言模型及其他 AI 模型。它将模型运行环境容器化,提供与 OpenAI API 兼容的接口,便于开发者在本地环境中集成和测试 AI 模型能力,无需依赖外部云服务。

时间轴 (近 90 天)

6月1日

Docker Model Runner可以与Docker Compose集成,将AI模型作为服务定义在docker-compose.yml中

待验证55%
6月1日

Docker Model Runner需要在最新版Docker Desktop的设置中启用Docker Model功能才能使用

待验证85%
6月1日

Docker Model Runner使用GGUF格式的量化模型文件,这些文件被打包为符合OCI规范的artifact

待验证85%
6月1日

Docker Model Runner兼容标准的OpenAI API接口(/v1/chat/completions)

待验证90%
6月1日

容器内运行时通过model-runner.docker.internal这个内部DNS与Docker Model Runner模型服务通信

待验证90%
6月1日

本地开发时Docker Model Runner的模型API地址为localhost:12434

待验证85%
6月1日

Docker Model Runner将底层的CUDA依赖和驱动适配完全封装在内部,用户无需手动配置

待验证85%
6月1日

Docker Model Runner支持的模型可以存储在Docker Hub和私有Registry等现有容器镜像仓库中

待验证85%

来源文章