概念evaluation loop / 评估循环
评估闭环
AI智能体工作流中的一种自我优化机制,Agent在完成生成任务后自动对输出进行质量评估,并将评估结果作为反馈驱动下一轮迭代,形成「生成—评估—反馈—再生成」的闭环。
时间轴 (近 90 天)
10月22日
建立小规模评估闭环:挑出 10 到 20 条典型反馈邮件作为测试集,定义“好答案”的标准,每次调整提示词后跑一遍测试集观察通过率变化。
待验证50%
10月18日
评估需要覆盖检索到的上下文是否相关、工具调用是否正确、最终答案是否准确等多层指标,并包括离线评估和在线评估两种形式。
待验证50%
9月12日
评估闭环工作流让Agent自己完成生成—评估—反馈—再生成的完整循环,而非由人类充当质量把关者
待验证50%