LFORLA
LFORLA是一个AI Agent评测体系/组织,维护JS 3D Builder等基准测试,强调固定评分标准、服务端静态分析和模型间可比性
时间轴 (近 90 天)
LFORLA评测机制包含四条规则:固定提示词、固定评审模型、按维度拆分评分、公开逐字回答记录。
当前Team Recruitment(Oracle)排行榜上,GLM 5.2(LFORLA自家提交)得分为78.0。
Team Recruitment(Oracle)的完整结果与逐字回答可在lforla.org查看。
JS 3D Builder (Three.js) 是一个基准测试,任务是从书面建筑规格出发,使用 Three.js 程序化生成 3D 建筑代码,由服务端静态分析打分,不执行代码也不使用 LLM 裁判。
排序基准测试作者将自己的模型 GLM 5.2 提交到自己的基准上,存在利益冲突。
Function Recovery维度采用0.75二元门槛,token相似度达到或超过0.75才算通过
Nemotron 3 Ultra(via opencode)在该基准得分为43.49
LFORLA的逆向工程基准任务是从被剥离符号的二进制文件中还原出函数的C语言源码
token相似度不等于语义正确性,一份提交可能token匹配但结构上依然是错的
选模型应按契合用例的维度比较而非只看总排名,需要完整源码重建看Completeness和Function Recovery,需要token级保真度看Code Similarity
还有 5 条时间轴事件
全部知识事实 (13)
LFORLA评测机制包含四条规则:固定提示词、固定评审模型、按维度拆分评分、公开逐字回答记录。
50%待验证当前Team Recruitment(Oracle)排行榜上,GLM 5.2(LFORLA自家提交)得分为78.0。
50%待验证Team Recruitment(Oracle)的完整结果与逐字回答可在lforla.org查看。
50%待验证JS 3D Builder (Three.js) 是一个基准测试,任务是从书面建筑规格出发,使用 Three.js 程序化生成 3D 建筑代码,由服务端静态分析打分,不执行代码也不使用 LLM 裁判。
50%待验证排序基准测试作者将自己的模型 GLM 5.2 提交到自己的基准上,存在利益冲突。
50%待验证Function Recovery维度采用0.75二元门槛,token相似度达到或超过0.75才算通过
50%待验证LFORLA的逆向工程基准任务是从被剥离符号的二进制文件中还原出函数的C语言源码
50%待验证选模型应按契合用例的维度比较而非只看总排名,需要完整源码重建看Completeness和Function Recovery,需要token级保真度看Code Similarity
50%待验证token相似度不等于语义正确性,一份提交可能token匹配但结构上依然是错的
50%待验证该基准中每个模型拿到的提示词和二进制文件完全一致,模型可选择带工具或无工具模式
50%待验证该基准评分采用确定性的token相似度比对,参照答案只保存在服务器端,不向模型展示
50%待验证该基准的Code Similarity指标由60%的词袋余弦相似度加40%的最长公共子序列比率构成
50%待验证60/40的余弦与LCS混合比例是基准设计者的主观工程选择,并无理论最优解
50%