概念Online Evals / 在线评估体系
在线评估
针对AI Agent在生产环境中持续运行表现的评估方法体系，区别于离线测试，用于监控Agent上线后的真实质量与稳定性，包括多种评估手段。
核心事实
时间轴 (近 90 天)
10月19日
在线评估自动运行在真实流量上，可在跨度级或追踪级触发，并按1%-10%比例采样控制成本。
待验证50%
10月16日
在线评估不需要支付被测系统推理费用，因为生产环境已经支付过了。
待验证50%
10月15日
离线评估和在线评估是互补关系，而非互斥。
待验证50%
9月20日
语义验证器的核心卖点是便宜和快，特别适合需要给大量运行轨迹打分的在线评估场景
待验证50%
9月20日
在线评估中评估器的单次成本会被放大数千甚至数百万倍，因此便宜且快直接决定方案是否可行
待验证50%
9月16日
评估可分为在线评估（生产环境实时监控）与离线评估（固定测试集批量测试），后者是快速迭代的基础
已验证65%