Agent评估
对AI Agent能力和性能进行系统性测量与评价的方法论，因Agent输出的非确定性而需要引入统计学方法处理随机噪声与真实能力退化的区分
核心事实
时间轴 (近 90 天)
Agent评估与传统软件测试不同：传统测试依赖预设用例且通过率可一次性判定，而Agent行为由模型在开放上下文中生成，难以穷举用例。
Asana评估Agent表现时关注三个指标：真实工作流中的完成率、人工干预频率、用户对Agent建议的采纳情况。
在Agent评估中，对照实验要求严格控制变量——除待测因素外，环境初始状态、随机种子、对手策略、回合数等均应保持一致。
Agent评估比普通LLM应用更困难，因为Agent会进行一系列工具调用和决策，链条中每一步都可能出错。
传统评测指标如准确率无法刻画规划质量、工具调用正确性和错误恢复能力，因此需要引入轨迹级、多维度、可复现的评估框架。
Agent评估的复杂性来自任务本身的多轮性、环境状态的变化、以及Agent决策的不可逆性。
当前主流的Agent评估方法包括基于基准测试的静态评估、基于模拟环境的交互式评估、以及基于人类反馈的主观评估。
评估正从“打分”转向“诊断”，不仅告诉开发者Agent得了多少分，还指出它在哪类任务、哪个环节失败。
Agent评估不是一次性的验收动作，而是伴随迭代的反馈回路。
作者从实验中提炼出的工程教训是：在Agent自动化中应把『自动触发的动作』和『主动决策的动作』分开记录，否则日志会把防御性自动化误读为攻击意图。
还有 5 条时间轴事件
全部知识事实 (15)
每次运行Agent都会产生实际的API调用开销，评估用例规模变大和多次重试会使成本迅速累积
65%待验证Agent评估与传统软件测试不同：传统测试依赖预设用例且通过率可一次性判定，而Agent行为由模型在开放上下文中生成，难以穷举用例。
50%待验证Asana评估Agent表现时关注三个指标：真实工作流中的完成率、人工干预频率、用户对Agent建议的采纳情况。
50%待验证在Agent评估中，对照实验要求严格控制变量——除待测因素外，环境初始状态、随机种子、对手策略、回合数等均应保持一致。
50%待验证Agent评估比普通LLM应用更困难，因为Agent会进行一系列工具调用和决策，链条中每一步都可能出错。
50%待验证传统评测指标如准确率无法刻画规划质量、工具调用正确性和错误恢复能力，因此需要引入轨迹级、多维度、可复现的评估框架。
50%待验证Agent评估的复杂性来自任务本身的多轮性、环境状态的变化、以及Agent决策的不可逆性。
50%待验证当前主流的Agent评估方法包括基于基准测试的静态评估、基于模拟环境的交互式评估、以及基于人类反馈的主观评估。
50%待验证Agent评估不是一次性的验收动作，而是伴随迭代的反馈回路。
50%待验证作者从实验中提炼出的工程教训是：在Agent自动化中应把『自动触发的动作』和『主动决策的动作』分开记录，否则日志会把防御性自动化误读为攻击意图。
50%待验证大多数Agent评估只关注任务完成度（如是否订到机票、关闭工单、代码可运行），几乎没有评估去衡量Agent在执行前是否注意到了上下文中的警告。
50%待验证Agent评估难题源于输出非确定性：同一输入可能产生不同的工具调用路径和最终答案，传统「输入-期望输出」断言逻辑失效。
50%待验证业界主流评估方式是构建「评估集+评估指标+评估模型」三件套，其中评估模型通常用另一个强模型自动打分，并辅以人工抽查。
50%待验证评估正从“打分”转向“诊断”，不仅告诉开发者Agent得了多少分，还指出它在哪类任务、哪个环节失败。
50%待验证对Agent而言评估需要持续贯穿整个运行时，而非仅在部署前进行，构建自动化在线评估机制(evals)可能成为运维标配
50%