智能体评估
针对AI智能体执行链路（包括工具调用、推理步骤、最终输出）进行系统性评估的方法论，区别于单一输出的大模型评估
时间轴 (近 90 天)
评估智能体时，爆炸半径应作为首要维度，取决于智能体能做什么、被授予的权限、可触达的环境以及错误能否被快速回滚。
如果MMO基准成为趋势，智能体的能力评估维度可能需要重构，规划效率、错误恢复能力、资源管理水平和交互策略都会进入评分体系，任务成功率不再是唯一指标。
严格的智能体研究需要匹配计算预算，或至少报告调用次数与延迟，以避免计算混淆。
大模型评估、RAG评估、智能体评估是三个不同层次的问题，不能混用同一套方法论。
评估不是智能体开发完成后的附加步骤，而是贯穿开发全程的基础设施。
智能体评估必须同时满足结果合理、证据合理、工具调用链路合理三个条件才能判定答案正确，三个条件缺一不可。
这位讲师在项目中反复强调：不管做多少层评估，智能体大概可以做到99.9%，但永远无法真正达到100%。
智能体评估通常涵盖忠实度（Faithfulness）、答案相关性（Answer Relevancy）、有害内容过滤以及多步骤任务的轨迹正确性（Trajectory Correctness）等维度
James Gung的研究方向聚焦于智能体评估、对话模拟和主动式智能体
智能体评估被行业公认为难题，原因在于AI智能体行为空间复杂，正确路径可能有多条且难以用单一指标衡量
全部知识事实 (10)
评估智能体时，爆炸半径应作为首要维度，取决于智能体能做什么、被授予的权限、可触达的环境以及错误能否被快速回滚。
50%待验证严格的智能体研究需要匹配计算预算，或至少报告调用次数与延迟，以避免计算混淆。
50%待验证这位讲师在项目中反复强调：不管做多少层评估，智能体大概可以做到99.9%，但永远无法真正达到100%。
50%待验证评估不是智能体开发完成后的附加步骤，而是贯穿开发全程的基础设施。
50%待验证智能体评估必须同时满足结果合理、证据合理、工具调用链路合理三个条件才能判定答案正确，三个条件缺一不可。
50%待验证大模型评估、RAG评估、智能体评估是三个不同层次的问题，不能混用同一套方法论。
50%待验证智能体评估通常涵盖忠实度（Faithfulness）、答案相关性（Answer Relevancy）、有害内容过滤以及多步骤任务的轨迹正确性（Trajectory Correctness）等维度
50%待验证智能体评估被行业公认为难题，原因在于AI智能体行为空间复杂，正确路径可能有多条且难以用单一指标衡量
50%待验证James Gung的研究方向聚焦于智能体评估、对话模拟和主动式智能体
50%待验证如果MMO基准成为趋势，智能体的能力评估维度可能需要重构，规划效率、错误恢复能力、资源管理水平和交互策略都会进入评分体系，任务成功率不再是唯一指标。
50%