Darwin-27B-ZTC-v5登顶决策基准榜 准确率0.81创新高

VIDRAFT新模型刷新结构化决策基准纪录

韩国Pre-AGI AI初创公司VIDRAFT（비드래프트）发布的最新模型Darwin-27B-ZTC-v5，在Hugging Face官方评测基准LocalLLaMA/typed-decisions上以0.81的准确率得分重新夺回榜首位置。这一成绩是该榜单有记录以来的最高分，对于正在构建决策自动化和AI代理系统的工程师而言，这一结果具有较强的参考价值。

Darwin-27B-ZTC-v5的前代版本Darwin-27B-ZTC此前已以0.74的得分占据榜首，v5版本在同一榜单上实现了**+0.07的准确率提升**。在这个竞争激烈且分数密集的基准空间中，这一增幅并非微小改进。

Typed Decisions基准是什么

理解Darwin-27B-ZTC-v5的含金量，需要先了解它所评测的基准。typed-decisions是一个结构化、概率化的分类基准，专门衡量模型在多维度分类任务中做出校准决策的能力——这些任务直接来源于真实的企业工作流场景。

该数据集的核心规格如下：

• 许可证：Apache-2.0
• 规模：1K–10K样本
• 模态：表格 + 文本
• 任务类型：文本分类（结构化决策）
• 语言：英语
• 子集：agent_trace_observability、customer_service、invoice_processing、security_incidents，每个子集包含400行数据，划分为训练集（300）和测试集（100）

每个样本包含丰富的多标签输出字段：outcome、action、needs_review、risk和urgency，每个标签都附带预测标签、置信度分数和完整的概率分布。这使Typed Decisions成为一个校准感知基准，而不仅仅是准确率基准。

校准（Calibration） 是评估概率预测质量的核心概念。一个模型即使分类准确率很高，如果它给出"90%置信度"的预测中只有60%是正确的，那么这个模型就是"过度自信"的，其概率输出不可信赖。校准感知基准正是为了衡量这种偏差而设计：它不仅检查模型预测的最高概率标签是否正确，还检查模型声称的置信度是否与实际正确率相符。常见度量包括期望校准误差（ECE） 和Brier分数。在企业决策场景中，校准质量往往比单纯的准确率更重要——例如在发票路由或安全事件分类中，系统需要依据置信度决定"自动处理"还是"转交人工"，失准的概率输出会直接导致错误的自动化决策。

模型如何被评估

Typed Decisions的设计目标是检验模型能否从结构化工作流状态中同时分类多个决策维度——本质上模拟智能代理在观察运行中的流程并决定如何响应时所需的判断能力。

每个评测样本包含三部分内容：

1. 工作流状态描述：一段结构化文本，描述代理或系统正在执行的操作
2. 结构化问题：模型必须回答的问题集合，例如“风险等级是什么？”或“此追踪是否需要人工审核？”
3. 金标签：附带推理依据和因素解释的标准答案

关键在于，模型不仅需要输出标签，还必须给出跨标签类别的概率分布。例如，needs_review__probability_true字段捕捉的是模型对“是否需要人工介入”的置信度——这比简单的二分类是/否信号更为精细。

这种设计模拟了System-1工作流评估：在企业真实条件下（数据擦除队列、安全事件分类、发票路由、客户服务升级和代理追踪可观测性）进行快速、结构化的判断。

System-1工作流评估借用了认知心理学中"快思考"的概念（源自Daniel Kahneman的双系统理论）。System-1指快速、直觉、自动化的判断，与之相对的System-2则是缓慢、审慎、需要推理的思考。在企业AI代理场景中，System-1式评估意味着模型需要在有限上下文和时间内，对结构化工作流状态做出即时、可靠的分类判断，而非进行多轮链式推理。这类任务更贴近生产环境中的真实需求：代理系统需要在毫秒到秒级时间内决定是否升级工单、标记风险或触发人工审核。因此，Typed Decisions评测的不是模型"深思熟虑"的能力，而是其在结构化、高吞吐决策流中的快速判断质量。

排行榜数据与竞争格局

根据公开的LocalLLaMA/typed-decisions排行榜数据：

排名	模型	准确率得分
1	FINAL-Bench/Darwin-27B-ZTC-v5	0.81
2	FINAL-Bench/Darwin-27B-ZTC	0.74
2	empiriolabsai/aplomb-1	0.74
4	ProKope-AI/ProKope-421M-8K	0.72
5	ProKope-AI/ProKope-421M	0.71
6	adaptive-classifier/typed-decisions-minilm-l6-specialist	0.61

几个值得关注的观察点：

Darwin-27B-ZTC-v5以**+0.07的优势**领先最接近的竞争对手，考虑到第二梯队有两个模型并列0.74分，这一领先幅度在基准测试中属于显著差距。

该基准经过筛选，仅收录基础模型（base models only），不包含单独声明了任务特定监督微调的模型。这意味着榜单比较的是模型的原生能力，而非经过专项调优后的表现。

竞争模型的参数规模从4.21亿到数十亿不等。Darwin-27B-ZTC-v5以270亿参数取得这一成绩，在参数效率的语境下尤其值得注意。

基础模型（Base Models） 指仅经过大规模预训练、未针对特定下游任务进行监督微调（SFT）的模型。榜单仅收录基础模型，意味着评估的是模型的"原生"泛化与决策能力，而非通过任务特定数据调优后"刷分"的结果。这一筛选机制在基准评测中具有重要意义：经过专项微调的模型往往能在特定任务上大幅提升分数，但这种提升难以迁移到新场景。相比之下，基础模型的表现更能反映其架构设计、预训练数据质量和通用推理能力的真实水平。对于需要构建多场景决策系统的工程师而言，基础模型的分数更具参考价值，因为它预示着模型在未被专门训练过的任务上可能达到的表现下限。

如何亲自测试

LocalLLaMA/typed-decisions数据集已在Hugging Face上公开，可以直接通过Datasets库加载：

# 通过Hugging Face Datasets库加载数据集
pip install datasets

python -c "
from datasets import load_dataset
ds = load_dataset('LocalLLaMA/typed-decisions', 'customer_service')
print(ds['test'][0])
"

也可以在数据集页面上通过Data Studio进行交互式探索，或使用Hugging Face数据集查看器内置的SQL Console进行查询。

至于Darwin-27B-ZTC-v5模型本身的访问方式和可用性，建议直接通过VIDRAFT官方渠道确认。排行榜条目通过Hugging Face上的FINAL-Bench组织链接到评估结果，模型卡和可用性更新可在该处查看。

常见问题

Typed Decisions是校准基准还是准确率基准？

两者兼具。每个预测都包含每个标签类别的完整概率分布（如outcome__probabilities、risk__score、urgency__score），这意味着模型不仅要被评估最高标签是否正确，还要被评估其置信度的校准质量。这比扁平分类基准的要求更高。

这个基准覆盖哪些企业用例？

四个子集直接对应常见的企业自动化场景：客户服务分类、发票处理路由、安全事件分类和AI代理追踪可观测性（判断自主代理的动作是否需要人工审核）。这些都是实际且高风险的决策领域。

Darwin-27B-ZTC-v5与前代有何不同？

根据公开排行榜数据，v5版本的准确率得分为0.81，前代为0.74，提升幅度为+0.07。内部的架构或训练差异尚未公开披露。