#智能体评测

共 3 篇相关文章

RuneScape Bench提出用MMORPG作为AI智能体的评测基准，通过长程规划、开放世界探索和玩家经济系统，检验智能体在复杂环境中的真实决策能力，引发对智能体评测新维度的讨论。

预注册的LangGraph四架构对比实验：相同模型、工具和预算下，ReAct、Plan-and-Execute、Supervisor和Draft-Verify在240个法律问答上准确率无显著差异，但Plan-and-Execute成本高出2.3倍且无收益。

arXiv 新论文提出 CUE（校准用户嵌入）框架，解决 AI 用户模拟器缺乏结果校准的问题。无需训练即可让模拟器更忠实复现真实用户导致的智能体失败模式，并在 τ²-Bench 及多场景中展现泛化能力。