Baseten Mammoth-1与Elephant-1决策模型限时免费上线AI Gateway

AI Gateway 近日宣布，来自 Baseten 的两款决策专用模型 Mammoth-1 和 Elephant-1 已在其平台上开放限时免费访问。这一消息对需要构建自动化决策流程的开发者而言，提供了一个低成本试错的机会。

什么是决策模型？

与常见的生成式大模型不同，Mammoth-1 和 Elephant-1 属于 决策模型（Decision Models）。它们不生成自由文本，而是针对输入内容执行分类、路由和评分任务。你可以把它理解为一种可编程的判断引擎：给定一段文本和若干预设问题，模型返回选项、概率和分数。

这种设计填补了生成式模型与规则引擎之间的空白。对于客服工单分流、内容审核、风险评分等场景，直接调用决策模型往往比让通用大模型"自由发挥"更可控、更易集成。

AI Gateway 是 Vercel 推出的统一模型接入层，开发者通过单一 API Key 即可调用多家供应商的模型，无需分别对接各自的 SDK 与计费体系。它在请求链路上承担路由、日志记录、速率限制与用量统计等职责，并原生兼容 Vercel 的 AI SDK。对于本文场景，AI Gateway 的价值在于把 Baseten 的决策模型与已有的生成式模型调用收敛到同一套接口和账单视图中，使团队在混合使用两类模型时不必维护两套集成代码。

Jev Decision Index 与 Artificial Analysis Decision Index 都是针对决策类任务设计的第三方评测榜单，评测内容通常涵盖意图分类、实体抽取式判断、多标签打分的准确率与一致性等维度，而非生成质量或通用知识问答。这类榜单的排名反映的是模型在结构化判断任务上的相对表现，与模型参数规模没有必然的正相关，因此 9B 的 Elephant-1 能与更大模型并列并不矛盾。需要提醒的是，榜单成绩基于公开测试集，在自有业务数据上的实际效果仍需自行验证。

两款模型的规格与基准表现

两款模型的核心差异在于规模：

• Mammoth-1：27B 参数，是两者中较大的版本。据官方信息，它在 Jev Decision Index 上排名第一。
• Elephant-1：9B 参数，更轻量。它在 Artificial Analysis Decision Index 上与其它模型并列第一。

两者均支持 16k token 上下文窗口，返回结果包含选择项、概率和评分。这意味着开发者可以在一次请求中对同一输入提出多个问题，例如同时判断"是否要求退款"、"应由哪个客服团队处理"以及"紧急程度如何"。

说个细节，模型本身只给出概率，真正的自动化阈值由应用层决定——你可以设定"概率超过 0.9 则自动处理，否则转人工审核"。这种将判断与执行分离的设计，让决策流程的透明度更高。

如何在代码中调用

AI Gateway 提供了统一的 API 入口，调用方式与 AI SDK 集成。以下示例展示了一个退款意图判断的场景：

import { experimental_decide as decide } from 'ai';

const result = await decide({
  model: 'baseten/mammoth-1',
  state: 'I was charged twice. Please refund the duplicate.',
  questions: {
    refund: {
      type: 'boolean',
      instructions: 'Is the customer asking for a refund?',
    },
  },
});

console.log(result.answers.refund);

开发者只需将模型名指定为 baseten/mammoth-1 或 baseten/elephant-1 即可。平台还提供 Decisions API 和 TypeSafe-compat 等接入方式，具体问题类型和用法可参考决策模型文档。

experimental_decide 前缀表明该接口仍处于实验阶段，AI SDK 对这类 API 不承诺语义化版本兼容，升级小版本时可能发生签名变化，生产环境接入前应锁定依赖版本并预留回退方案。示例中的 questions 是一个以问题名为键的对象，每个问题用 type 声明期望的输出形态（如 boolean、枚举或数值），并用 instructions 给出自然语言描述；返回的 result.answers 以相同键名回传结构化结果，其中包含所选项与对应概率。这种「声明式提问 + 结构化回传」的约定，使模型输出可以直接被类型系统与下游业务逻辑消费，无需再编写解析自由文本的正则或 JSON 修复代码。

免费窗口与用量管理

本次免费访问设定了明确的时间窗口，截止日期为 10 月 27 日。免费期结束后，决策调用会像其他模型请求一样出现在 AI Gateway 的日志中，并计入预算统计。

对于正在评估决策模型是否适合自身业务的团队，这一周的免费期足够跑通原型验证。建议优先测试两类场景：一是对准确率要求高、但输出结构固定的分类任务；二是需要多问题联合判断的复杂路由逻辑。

一点观察

决策模型这个品类正在受到更多关注。通用大模型虽然能力强，但在"做判断"这件事上往往存在输出不稳定、成本偏高的问题。Baseten 选择用专门的小模型来承接这类任务，思路类似于用专用芯片处理特定计算——牺牲通用性换取确定性和效率。Mammoth-1 与 Elephant-1 分别覆盖效果优先和成本优先两种需求，这种产品分层对开发者来说是比较务实的选择。

免费期是一个观察窗口，真正的考验在于免费结束后，这些模型在真实业务流量下的表现是否配得上其基准排名。