基准
MLE-Bench
面向机器学习工程任务的竞赛式基准测试,以奖牌率(medal rate)衡量AI系统在自主建模任务中的表现水平
核心事实
时间轴 (近 90 天)
10月23日
MLE-Bench 由 OpenAI 提出,收录 Kaggle 上真实的机器学习竞赛题目,要求 agent 完整跑通从数据探索、特征工程到训练与提交的流程。
待验证50%
10月21日
Apple 和 EPFL 的另一项研究发现,专用的 MLE Harness 在 MLE-bench 上也没有带来大的分数差异。
部分验证65%
10月16日
MLE-Bench由OpenAI提出,采集自Kaggle真实竞赛,要求智能体在限定时间内完成数据加载、特征工程、模型训练、提交预测等完整流程。
待验证50%
10月16日
奖牌率指智能体提交结果达到该竞赛铜牌及以上阈值的比例,直接对标人类选手的相对表现。
待验证50%
9月23日
AIBuildAI-2.5在MLE-Bench上排名第一,取得73.3%的奖牌率
已过期50%
9月23日
MLE-Bench是由OpenAI提出的标准化评测框架,将Kaggle历史竞赛题目改造成可自动评分的基准,按金银铜三档划定奖牌区间
待验证50%
全部知识事实 (5)
部分验证
Apple 和 EPFL 的另一项研究发现,专用的 MLE Harness 在 MLE-bench 上也没有带来大的分数差异。
65%待验证MLE-Bench 由 OpenAI 提出,收录 Kaggle 上真实的机器学习竞赛题目,要求 agent 完整跑通从数据探索、特征工程到训练与提交的流程。
50%待验证MLE-Bench由OpenAI提出,采集自Kaggle真实竞赛,要求智能体在限定时间内完成数据加载、特征工程、模型训练、提交预测等完整流程。
50%待验证奖牌率指智能体提交结果达到该竞赛铜牌及以上阈值的比例,直接对标人类选手的相对表现。
50%待验证MLE-Bench是由OpenAI提出的标准化评测框架,将Kaggle历史竞赛题目改造成可自动评分的基准,按金银铜三档划定奖牌区间
50%