论文精读·第11期：智能体几何短板与世界模型记忆革命

今天这波论文我翻了一遍,有个感觉特别强烈. 大家都在给agent补课,补的都是同一门课. 你的感觉没错. 本周这几篇,表面看是蛋白质、CAD、机器人导航,其实全在问一件事: agent到底懂不懂它操作的这个世界. 那就别绕了,你先给我说说最能说明问题的那篇. ProteinGeoBench. 结论先抛: 前沿模型查资料很行,算几何很菜. 等一下,查资料和算几何,这不都是它该会的吗? 重点就在这里. 131个蛋白质结构任务里,四个前沿模型有三个查元数据比数值计算强,第四个反过来. 那分数差得大吗,还是挤在一起分不出高下? 三个模型全挤在0.785到0.816之间,统计上分不出谁强. 第四个掉到0.707,才是真差距. 所以榜单排名这事儿,本身就有点玄学. 对,这就是它最有意思的地方. 每个任务只跑一次的话,23.9%的重采样里第一名会换人. 这个数字我记一下. 意思是评测预算一变,冠军就变. 还有个细节: 数值任务只占28个,但四家全挂的12个任务里,一半是数值. 数值就是硬骨头. 换成自家命令行agent,分数会动多少? 上下浮动-0.071到+0.086. 说明评测外壳本身也在悄悄影响结论. 那这篇的实用价值在哪,总不能只是告诉大家榜单不可信吧. 反过来看就是产品机会. 一个结构生物学agent,数值计算必须单独加工具、单独验证,别指望模型自己心算. 明白了,查得到不等于算得对. 好,下一个,AnyGoal这篇我也很想聊. 它戳的是世界模型的软肋. 专家轨迹里见过的状态和动作,拆开都熟,一组合就失灵. 这不就是我们做产品最怕的那种情况吗,单点都会,串起来就崩. 完全一个意思. 而且作者强调,这些组合还在训练分布之内,不是完全没见过的新东西. 所以在训练集范围内,它就已经开始乱了? 对. 多个环境和多种世界模型家族上,这种重组失败都稳定出现. 不是个别模型的毛病. 那这背后是不是说明,现在世界模型学的是记忆,不是动力学? 说到点子上了. 它更像是把轨迹背下来了,而不是抽出了规律. 一换目标就露馅. 所以结论是,世界模型要真能用,得拿组合泛化当核心指标来练. 对. 不然规划就是空中楼阁. 好,接着聊MemT-1.0,这篇我自己看完挺兴奋的. 名字听着就像要跟检索增强抢饭碗. 它想干的事更大. 把记忆做成模型计算的一部分,不再是外挂一个向量库. 等会儿,那它靠什么做记忆,总不能还是往上下文里塞吧. Gated DeltaNet-2做token级记忆更新,再加一个Mixture-of-Storage扩容量. 相当于模型自带笔记本. 效果呢,我最关心的是长历史下的成本. 128K历史长度,Nano版本端到端推理快了约1.86倍,持久存储比全量KV cache少66倍. 这个存储压缩比有点狠啊. 更关键的是它把检索到的经验内化进模型,agent任务成功率也跟着涨. 这是它跟RAG拉开差距的地方. 所以它比检索增强平均更强,同时通用能力基本没掉? 素材里说的是平均超过参数化记忆基线,和检索增强打平,通用能力大体保住. 算务实的一步. 说起来,CAD那篇其实也是同一个病根. 看着能跑,物理上一塌糊涂. FunCADBench,46个机构家族. 核心招法是FunCAD-Harness,把模糊需求翻译成每个候选方案自己的物理测试. 这招聪明,不同机构本来就不该用同一套标准验. 对,它靠仿真反馈去驱动迭代. 结果能抓出肉眼看不出来的机械失效,功能成功率比标准仿真基线明显高. 然后WildAWM那篇,直接给电脑操作agent造训练环境,这个思路我喜欢. 它把GUI、MCP服务和命令行三种接口合成在同一个可执行环境里. 而且全程开源模型驱动,没用闭源前沿模型. 多少任务,难不难? 341个长周期环境任务对,有的要上百步才解得完. GPT-6-Astra也才解出60%. 它还专门解决任务能不能做、够不够难、验证器靠不靠谱这三个老问题. 用执行质量门来做,异构rollout加交叉裁判一致性,再加反事实探针. 这套挺工程化的. 那我串一下今天这五篇. 从蛋白质到CAD到电脑操作,全在说一句话. 你说说看. agent会查会看会说,但一到要自己算、自己组合、自己被物理检验的地方,短板就露出来了. 补一句,所以评测也得跟着变. 单次跑分靠不住,组合泛化和成本效率才是真指标. 记忆内生化,我判断会是明年agent架构的主线之一.