VendingBench：从Haiku到Mythos的AI评测实战方法论

引言：AI评测为何成为行业核心命题

大模型快速迭代的背景下，如何科学、公正地评估AI模型的真实能力，已经成为开发者和企业用户共同关注的焦点。从早期的MMLU、HumanEval等学术基准，到如今面向真实场景的综合评测体系，AI评测方法论本身也在经历深刻变革。近日，Andon Labs的Lukas Petersson和Axel Backlund接受播客访谈，深入分享了他们作为VendingBench作者的评测经验——从评估Anthropic旗下Haiku到Mythos的各代Claude模型，到如何从零开始构建一套领先且持久的前沿评测基准。

播客访谈截图

VendingBench是什么？一套面向真实场景的AI评测基准

VendingBench是Andon Labs团队开发的AI模型评测基准（benchmark）。AI评测基准是用于系统性衡量人工智能模型能力的标准化测试集合，其历史可以追溯到ImageNet、GLUE等经典数据集。评测基准的发展经历了几个关键阶段：早期的ImageNet（2009年）通过1400万张标注图像推动了计算机视觉的革命性进步，GLUE（2018年）和SuperGLUE（2019年）则为自然语言理解提供了多任务评测框架。进入大语言模型时代后，MMLU（Massive Multitask Language Understanding）覆盖57个学科的1.5万道选择题，成为衡量模型知识广度的标杆；HumanEval则通过164个编程题测试代码生成能力。然而，这些基准普遍面临"天花板效应"——GPT-4在MMLU上已达86.4%，接近人类专家水平，导致基准失去对前沿模型的区分能力。更深层的问题在于，这些基准多采用封闭式问答形式，无法捕捉模型在开放式、多轮交互场景中的真实表现。随着大语言模型的崛起，评测基准也从单一任务走向多维度综合评估，但普遍面临基准迅速饱和、失去区分度的困境。与许多现有的学术评测不同，VendingBench更注重模型在真实场景中的综合表现，而非单一维度的能力测试，这正是它试图突破传统评测局限的核心切入点。

评测的核心理念：Reality as the Final Eval

传统AI评测往往聚焦于特定任务——数学推理、代码生成或知识问答。VendingBench的设计哲学则是将评测视为"最终的现实检验"（Reality: The Final Eval）。具体来说，评测需要尽可能贴近真实使用场景，衡量模型在复杂、多步骤任务中的实际表现，而不仅仅是在标准化测试中的分数。这一理念的背后是对当前评测生态的深刻反思：当模型在MMLU上的得分从70%提升到90%时，用户在实际使用中感受到的能力提升往往远没有分数差距所暗示的那么显著，这说明传统基准与真实能力之间存在系统性偏差。

从Haiku到Mythos：Claude模型全系列评估结果

Anthropic是由前OpenAI研究副总裁Dario Amodei和Daniela Amodei于2021年联合创立的AI安全公司，其核心技术路线以Constitutional AI（宪法AI）和RLHF（基于人类反馈的强化学习）为特色。Constitutional AI是Anthropic于2022年提出的一种AI对齐方法，其核心思想是用一组明确的原则（即"宪法"）来指导模型的自我改进过程，减少对大量人类标注反馈的依赖。具体流程分为两个阶段：首先通过自我批评（self-critique）让模型根据宪法原则修正自身输出，然后使用RLAIF（基于AI反馈的强化学习）替代部分RLHF流程。RLHF本身是InstructGPT（2022年）推广的核心技术，通过训练一个奖励模型来模拟人类偏好，再用PPO（近端策略优化）算法微调语言模型。Anthropic的技术路线强调"可解释性"和"可控性"，其Mechanistic Interpretability团队致力于理解模型内部的特征表示，这与其安全优先的企业定位一脉相承。

Claude模型家族采用分层产品策略：Haiku定位为轻量级、低延迟的模型，适合高吞吐量场景；Sonnet为中等规模的平衡型模型；Opus则是旗舰级大模型，追求最强推理能力；而Mythos作为较新的成员，代表了Anthropic在模型架构和训练方法上的最新探索。VendingBench团队对这一完整谱系进行了系统性评测，为理解不同规模模型的能力边界提供了宝贵数据。

模型规模与能力的非线性关系

评测结果揭示了一个重要发现：模型能力的提升并非随参数规模线性增长。这一发现与AI研究中广泛讨论的Scaling Laws（缩放定律）形成了有趣的对照。Scaling Laws最早由OpenAI的Jared Kaplan等人在2020年的论文《Scaling Laws for Neural Language Models》中系统阐述，发现模型的交叉熵损失与参数量N、数据量D、计算量C之间存在幂律关系：L ∝ N^(-0.076)。2022年DeepMind的Chinchilla论文进一步修正了这一理论，提出"计算最优"训练策略——模型参数量和训练数据量应同比例扩展。然而，"涌现能力"（Emergent Abilities）的概念由Google的Jason Wei等人在2022年提出，指出某些能力（如思维链推理、多步算术）在模型规模低于某个阈值时几乎不存在，超过阈值后突然出现。值得注意的是，2023年斯坦福的研究对涌现现象提出了质疑，认为部分涌现可能是评测指标选择（如精确匹配vs.部分匹配）造成的统计假象，这使得VendingBench对非线性关系的发现更具讨论价值。

在VendingBench的评测中，某些任务维度上较小的模型可能展现出与大模型相当的表现——例如事实检索类任务可能在较小模型上就已接近饱和；而在需要深度推理的场景中，模型间的差距则会急剧拉大，呈现出阶梯式的"涌现"特征，即在模型规模达到某个临界点后突然出现质的飞跃。这种非线性特征对企业选择合适的模型部署方案具有直接参考价值——不能简单地"越大越好"，而需要根据具体应用场景的能力需求进行精准匹配。

Mythos评测表现的特殊意义

Mythos作为Claude模型族中较新的成员，其评测表现引发了广泛关注。VendingBench的评测框架能够捕捉到传统benchmark难以体现的能力提升，这也从侧面验证了该评测体系的区分度和前瞻性。当主流基准上各模型的分数日益趋同时，一个能够有效区分模型间细微但关键差异的评测体系，其价值就愈发凸显。

如何从零构建一套持久有效的AI评测基准

Lukas和Axel在访谈中分享了构建高质量评测基准的完整方法论，以下是几个关键环节。

应对评测数据污染问题

当前AI评测面临的最大挑战之一是数据污染（contamination）——当评测数据被纳入训练集后，模型的高分不再反映真实能力。这一问题的核心机制在于：大语言模型的训练数据通常来自互联网的大规模爬取，而许多公开的评测基准数据集同样存在于互联网上。当评测题目及其答案被包含在训练语料中时，模型实际上是在"回忆"答案而非"推理"答案，导致评测分数虚高。2023年以来，多项研究揭示了这一问题的严重程度——部分模型在被污染的基准上的表现与未污染基准上的表现差距可达10-20个百分点。

数据污染的检测方法目前主要分为三类：一是基于成员推断攻击（Membership Inference Attack），通过分析模型对特定样本的置信度分布判断其是否出现在训练集中；二是基于n-gram重叠分析，检查评测数据与已知训练语料的文本重合度；三是基于扰动测试，对评测题目进行语义保持的微小改写，观察模型表现是否出现异常下降——如果改写后性能骤降，说明模型可能在记忆原始题目而非理解题意。

VendingBench团队采取了多重策略来应对这一问题：

动态更新评测集，降低数据泄露风险
设计难以被简单记忆的任务结构
引入多样化的评估维度
通过参数化生成使得每次评测的具体实例都不同，从根本上增加数据污染的难度

其中，参数化生成策略属于防御性设计的前沿实践，其原理类似于程序化生成（Procedural Generation）——通过定义任务模板和参数空间，在每次评测时动态生成具体实例，使得评测集在理论上具有无限大的样本空间，从根本上消除了被预先记忆的可能性。

评测的"保鲜期"设计

一个优秀的评测基准不仅要在当下有效，还需要在模型快速迭代的背景下保持区分度。评测饱和（Benchmark Saturation）是这一领域的经典难题——历史上，MNIST（手写数字识别，准确率已超99.8%）、SQuAD 1.1（阅读理解，已超人类水平）等经典基准都经历了从有效到饱和的完整生命周期。MNIST由Yann LeCun等人于1998年发布，最初用于验证卷积神经网络的有效性，如今已完全失去对现代模型的区分能力；SQuAD 1.1由斯坦福于2016年发布，仅两年后就被BERT等模型超越人类基线。这些案例深刻说明了评测基准的"保质期"问题。

团队在设计之初就考虑了评测的持久性，通过分层难度设计（设置从基础到极端困难的多个难度梯度）和可扩展的任务框架（随着模型能力提升可以动态增加任务复杂度），确保评测不会在短期内被"刷满分"而失去意义。此外，引入开放式任务设计——没有唯一标准答案、需要综合评判的任务类型——也是维持长期区分度的重要手段。开放式评测的挑战在于评判标准的一致性，这通常需要借助多评判者共识机制或训练专门的评判模型（Judge Model）来实现自动化且可靠的评分。

构建前沿评测的四个核心原则

从访谈中可以提炼出以下关键原则：

真实性优先：评测任务应尽可能反映真实使用场景，弥合基准分数与实际体验之间的鸿沟
多维度覆盖：避免单一指标带来的片面评价，综合考量推理、创造力、指令遵循、鲁棒性等多个能力维度
抗饱和设计：评测难度应有足够的天花板空间，通过组合爆炸式任务空间和分层难度架构确保长期有效性
可复现性：评测流程和标准需要透明、可重复，这是科学评测的基本要求，也是建立行业信任的基础

对AI开发者和企业用户的启示

随着AI模型能力的持续提升，评测体系的重要性只增不减。VendingBench团队的工作提醒我们：好的评测不仅是衡量模型的工具，更是推动模型进步的指南针。正如Goodhart定律所警示的——"当一个指标成为目标时，它就不再是一个好的指标"——评测设计者需要持续创新，确保评测始终能够引导模型向真正有价值的方向进化。Goodhart定律最初由英国经济学家Charles Goodhart在1975年针对货币政策提出，后被人类学家Marilyn Strathern概括为更广泛的形式。在AI领域，这一定律的表现尤为突出：当模型开发者以特定基准分数为优化目标时，可能会采用针对性的训练策略（如在评测数据分布上过采样、针对评测格式进行特殊微调），导致模型在基准上的高分无法迁移到真实应用场景。这种现象被称为"teaching to the test"（应试教育效应）。更深层的问题在于，当整个行业围绕少数几个基准进行竞争时，模型的能力发展方向可能被扭曲——那些不在评测覆盖范围内但对实际应用至关重要的能力（如长期一致性、多模态协调、文化敏感性等）可能被系统性忽视。这也是VendingBench强调"真实场景优先"的深层动因。

当越来越多的模型在传统benchmark上趋于饱和时，像VendingBench这样注重真实场景、具备持久区分度的评测基准，将成为行业判断模型真实能力的关键参考。对于AI开发者和企业用户而言，理解评测背后的设计理念，比单纯关注排行榜分数更为重要。具体而言，企业在进行模型选型时，应当关注评测是否覆盖了自身业务场景的核心能力需求，评测数据是否存在污染风险，以及评测结果在不同时间点的一致性和可比性。

总结

Andon Labs团队通过VendingBench展示了AI评测领域的前沿实践。从对Claude全系列模型的系统评估，到构建持久有效评测基准的方法论，他们的经验为行业提供了有价值的参考框架。在AI能力边界不断拓展的当下，科学严谨的评测体系是确保技术健康发展的重要基石。随着模型能力的持续跃升和应用场景的不断拓展，评测方法论本身也将持续演进——而VendingBench所代表的"真实场景优先、抗饱和、抗污染"的设计理念，很可能成为下一代AI评测基准的标准范式。