论文足球俱乐部经营LLM评测
长程任务记忆研究
一项评测LLM智能体长程任务能力的研究,通过让模型模拟经营足球俱乐部20个游戏年份,系统考察模型的持续决策与记忆管理能力,使用确定性引擎评分,测试15个前沿模型
时间轴 (近 90 天)
9月12日
一项研究让LLM智能体经营一家足球俱乐部长达20个游戏内年份,以考察模型的持续决策与记忆管理能力
待验证50%
9月12日
实验中智能体可调用26种不同的工具
待验证50%
9月12日
整个模拟过程包含约340到400个决策停顿点
待验证50%
9月12日
实验对15个前沿模型进行了测试
待验证50%
9月12日
排名顺序直到实验运行的后期才最终稳定下来,短期出色表现不能保证长期成功
待验证50%