Decision Index
专门针对决策类模型(分类、评分、路由、结构化判断)设立的基准榜单,衡量指标与通用语言模型榜单不同,聚焦有限离散输出任务的性能评估
核心事实
时间轴 (近 90 天)
Decision Index 是用于横向比较不同决策模型表现的公开评分基准。
根据官方公布的数据,Nimble-v4-max 在 Decision Index 公开评分上比 Jev 1.13 高出 10.5 分。
社区运营的 Decision Index 排行榜显示 Perplexity 为 62.75、Jev 为 60.11(v0.3 评分),但评分公式在版本间变化,两数不能直接比较。
在自报的 Cloudflare 内部 Decision Index 0.2.1 基准测试中,clef-omni 在意图分类和路由任务(BANKING77、CLINC150)上大幅领先 Jev;但在需要多步推理的任务(GPQA、BBH、MMLU-Pro)上,Jev 领先 12 到 31 分。
Decision Index 是专门为决策型模型设计的评测基准,聚焦结构化判断场景如多属性方案比较、风险概率估计和排序一致性
Aplomb 1 在 Decision Index 0.2.1 上以官方工具跑出 44.86 分,位列已公布榜单中 4B 模型第一名
作者声称 TinyDecide 是 Decision Index 排行榜上体积最小的模型
Decision Index 是专门针对决策类任务设立的基准榜单,衡量指标与 MMLU、HellaSwag 等通用语言模型榜单不同
全部知识事实 (5)
Artificial Analysis是一个独立的AI模型基准测试平台,综合编程能力、数学推理、语言理解、知识问答等多个维度评估模型表现
70%待验证Decision Index 是用于横向比较不同决策模型表现的公开评分基准。
50%待验证在自报的 Cloudflare 内部 Decision Index 0.2.1 基准测试中,clef-omni 在意图分类和路由任务(BANKING77、CLINC150)上大幅领先 Jev;但在需要多步推理的任务(GPQA、BBH、MMLU-Pro)上,Jev 领先 12 到 31 分。
50%待验证Decision Index 是专门为决策型模型设计的评测基准,聚焦结构化判断场景如多属性方案比较、风险概率估计和排序一致性
50%待验证Decision Index 是专门针对决策类任务设立的基准榜单,衡量指标与 MMLU、HellaSwag 等通用语言模型榜单不同
50%