Evals
针对大语言模型及智能体系统的评估方法论，通过构建测试集、量化评分标准和版本对比，系统化衡量模型输出质量，常见方式包括黄金数据集对比、LLM-as-judge及端到端任务成功率统计
核心事实
时间轴 (近 90 天)
Cursor Agent SDK内置评估（Evals）功能，允许开发者每次修改指令或新增工具时运行一组测试，判断代理表现是变好还是变差。
评估运行次数设置很关键，单次通过不能说明问题，需要多次运行来建立对结果的信心。
在 Evals 中，评估用例以 JSON 文件定义期望的工具调用序列，描述 Agent 应做出的行为。
猎头Mia表示，目前仍处于风口的是Agent，尤其是面向协作场景的Co-worker Agent。Coding Agent是持续存在的人才缺口，Evals和预训练数据相关人才也开始受到重视。
Benchmarks 回答模型有多强，而 Evals 回答 Agent 在特定场景下表现如何。
Benchmarks 的题目公开后可能被训练数据污染，且高分并不代表模型在特定业务场景中同样可靠，因此需要 Evals 补充。
构建高质量业务Evals需要领域专家设计测试集、建立人工标注黄金标准（golden set），并通过持续A/B比对追踪模型迭代效果
缺乏可靠Evals会导致"优化幻觉"——指标数字好看但实际用户体验没有改善甚至退步
Evals与传统软件集成测试的区别在于LLM输出具有概率性，需用黄金问题集加预期行为判定替代精确字符串断言
由于智能体输出往往是开放式文本，Evals通常需要结合基于规则的检查、人工标注黄金答案对比和LLM-as-Judge打分等多种手段
还有 15 条时间轴事件
全部知识事实 (20)
AI代码生成的核心问题是模型倾向于生成看起来合理的测试而非能捕获真实缺陷的测试
85%已验证OpenAI将AGI定性为能在大多数经济价值任务上超越人类的AI系统
80%已验证在多步骤智能体工作流中，最终结果由一系列中间决策链式叠加而成，同一任务可能有多条合理执行路径，使评估难度高于传统软件测试
75%已验证Evals是用于系统性衡量模型或智能体输出质量的测试框架，类比软件工程中的单元测试和集成测试
75%已验证Benchmark（基准评测）是用一套固定题目给模型打分做横向对比，类似模拟考，用于给模型排名
70%已验证AI测试引入评估（Evaluation）概念，通常使用0到1的连续值打分，评估负责打分而测试负责划定及格线
65%已验证AI产品设计需要引入评估体系（Evals）来持续衡量模型输出质量，而非依赖传统功能测试
65%已验证OpenAI 曾公开谈到他们的模型是被专门训练来高效使用 apply_patch 工具的
65%待验证顶级AI公司通常设有专门的提示词工程团队，使用自动化评估框架（如OpenAI的Evals）对提示词进行量化评测
70%待验证Cursor Agent SDK内置评估（Evals）功能，允许开发者每次修改指令或新增工具时运行一组测试，判断代理表现是变好还是变差。
50%待验证评估运行次数设置很关键，单次通过不能说明问题，需要多次运行来建立对结果的信心。
50%待验证在 Evals 中，评估用例以 JSON 文件定义期望的工具调用序列，描述 Agent 应做出的行为。
50%待验证猎头Mia表示，目前仍处于风口的是Agent，尤其是面向协作场景的Co-worker Agent。Coding Agent是持续存在的人才缺口，Evals和预训练数据相关人才也开始受到重视。
50%待验证Benchmarks 的题目公开后可能被训练数据污染，且高分并不代表模型在特定业务场景中同样可靠，因此需要 Evals 补充。
50%待验证Benchmarks 回答模型有多强，而 Evals 回答 Agent 在特定场景下表现如何。
50%待验证缺乏可靠Evals会导致"优化幻觉"——指标数字好看但实际用户体验没有改善甚至退步
50%待验证构建高质量业务Evals需要领域专家设计测试集、建立人工标注黄金标准（golden set），并通过持续A/B比对追踪模型迭代效果
50%待验证Evals与传统软件集成测试的区别在于LLM输出具有概率性，需用黄金问题集加预期行为判定替代精确字符串断言
50%待验证由于智能体输出往往是开放式文本，Evals通常需要结合基于规则的检查、人工标注黄金答案对比和LLM-as-Judge打分等多种手段
50%待验证错误分析是在Evals暴露问题后系统性归因，包括检索召回不足、上下文窗口溢出、工具调用格式有误或模型推理能力边界等原因
50%