[控场AI]
论文足球俱乐部经营LLM评测

长程任务记忆研究

一项评测LLM智能体长程任务能力的研究,通过让模型模拟经营足球俱乐部20个游戏年份,系统考察模型的持续决策与记忆管理能力,使用确定性引擎评分,测试15个前沿模型

时间轴 (近 90 天)

9月12日

一项研究让LLM智能体经营一家足球俱乐部长达20个游戏内年份,以考察模型的持续决策与记忆管理能力

待验证50%
9月12日

实验中智能体可调用26种不同的工具

待验证50%
9月12日

整个模拟过程包含约340到400个决策停顿点

待验证50%
9月12日

实验对15个前沿模型进行了测试

待验证50%
9月12日

排名顺序直到实验运行的后期才最终稳定下来,短期出色表现不能保证长期成功

待验证50%

全部知识事实 (5)

来源文章