[控场AI]
概念推理配置文件

Inference Profile

Amazon Bedrock 的跨区域推理功能,将模型 ID 绑定到多个区域端点,自动路由请求以提升吞吐量并降低延迟。

时间轴 (近 90 天)

10月18日

Inference Profile 是 Amazon Bedrock 的一项跨区域推理能力,允许将同一个模型 ID 绑定到多个区域的端点,由 Bedrock 根据实时容量与延迟自动路由请求。

待验证50%
10月18日

Inference Profile 分为系统定义(System-defined)与应用定义(Application-defined)两类,前者由 AWS 维护,后者由用户自行组合区域。

待验证50%
10月18日

当某个模型在部分区域停用时,指向该模型的 Inference Profile 可能失去这些区域的底层容量,甚至整体失效。

待验证50%
10月4日

Amazon Bedrock 的推理配置文件是 AWS 提供的跨区域模型调用抽象层,用户通过逻辑 ARN 引用模型,AWS 根据区域负载和可用性自动选择实际执行的物理端点

待验证50%

全部知识事实 (4)

来源文章