FDE-Gym
一个面向AI Agent客户交付能力的基准测试，构建了来自18个行业、20个客户场景的端到端交付任务，模拟前置部署工程师（FDE）面对模糊需求和生产环境的真实工作场景，评估Agent主动澄清需求、增量修改系统的能力
时间轴 (近 90 天)
FDE-Gym基准覆盖18个行业、20个客户场景中的95个端到端交付任务。
在FDE-Gym上，最佳配置的平均得分仅为0.56，95个任务中只解决了14个。
在23个所有关键事实都已获取的FDE-Gym任务上，最佳配置也只在10个任务上实现了有意义的业务提升。
发现隐性约束是智能体在真实客户交付场景中的首要障碍。
在最接近现实的设定中（未言明约束需主动发现），表现最好的模型配置平均FDE-Gym得分仅为0.56
在95个任务中，最佳配置只有14个任务被真正解决（得分不低于0.8且无事故）
在23个任务中，最佳配置成功从利益相关者处获取了所有关键事实，但其中只有10个任务的归一化业务提升达到0.8以上
FDE-Gym构建了来自18个行业、20个客户场景的95个端到端交付任务，每个任务由行业专家从真实交付项目中改编而来
仅靠信息发现能力无法解释全部差距：发现约束是交付成功的必要条件但非充分条件
FDE-Gym的惩罚机制表明在实际交付中'问对问题'比'问很多问题'更重要，要求Agent具备对信息价值的预估能力
还有 5 条时间轴事件
全部知识事实 (15)
FDE-Gym基准覆盖18个行业、20个客户场景中的95个端到端交付任务。
50%待验证在FDE-Gym上，最佳配置的平均得分仅为0.56，95个任务中只解决了14个。
50%待验证在23个所有关键事实都已获取的FDE-Gym任务上，最佳配置也只在10个任务上实现了有意义的业务提升。
50%待验证发现隐性约束是智能体在真实客户交付场景中的首要障碍。
50%待验证在最接近现实的设定中（未言明约束需主动发现），表现最好的模型配置平均FDE-Gym得分仅为0.56
50%待验证在95个任务中，最佳配置只有14个任务被真正解决（得分不低于0.8且无事故）
50%待验证在23个任务中，最佳配置成功从利益相关者处获取了所有关键事实，但其中只有10个任务的归一化业务提升达到0.8以上
50%待验证FDE-Gym构建了来自18个行业、20个客户场景的95个端到端交付任务，每个任务由行业专家从真实交付项目中改编而来
50%待验证仅靠信息发现能力无法解释全部差距：发现约束是交付成功的必要条件但非充分条件
50%待验证FDE-Gym的惩罚机制表明在实际交付中'问对问题'比'问很多问题'更重要，要求Agent具备对信息价值的预估能力
50%待验证FDE-Gym的实验显示即使Agent掌握了全部关键事实，转化成功率仍不足一半，说明当前模型在长链路复杂任务上的规划与执行能力存在系统性短板
50%待验证当模型需要在没有明确指引的情况下自行发现未言明的约束时，性能急剧下降
50%待验证FDE-Gym的差异化定位在于任务输入本身不完整，Agent必须先通过主动交互补全信息，且评估指标是开放式的业务KPI改进幅度而非对错判定
50%待验证FDE-Gym的评分机制以0（系统未改善）到1（参考解决方案效果）为区间归一化，并对与利益相关者的交互行为（发消息、试运行、等待时间）计入惩罚
50%待验证FDE-Gym平台提供在线人类练习模式，使用相同评分标准，为人类与AI对比提供基准线
50%