世界模型的动作几何保真度：LeWM局部敏感度研究

在基于模型的强化学习（model-based RL）中，世界模型通常靠预测精度或下游控制表现来评判。但预测得准，是否意味着模型真正理解"动作如何影响未来"？一篇被NeurIPS 2026 NeurReps Workshop接收为poster的研究把这个问题单独拎了出来：世界模型是否保留了局部动作几何（local action geometry）？

选题动机：为什么CEM/MPC关心动作几何

CEM（交叉熵方法）和MPC（模型预测控制）这类规划器的工作方式，是在学到的动力学模型上采样、评估并比较候选动作序列。动作空间里每个方向上的细微变化，会以多大程度、朝哪个方向改变未来状态，直接决定了采样的效率和比较的合理性。

如果模型在局部把动作响应"转"了一个角度，规划器可能会系统性地朝错误方向探索。论文正是从这一角度切入，把"动作-状态"的局部敏感度结构当作一个独立的评估维度，而不只是看整体预测误差。

动作-雅可比Gram矩阵是理解本文方法的关键。动力学模型可写为 $s_{t+1}=f(s_t,a_t)$，其关于动作的雅可比矩阵 $J=\partial f/\partial a$ 描述每个动作分量对下一状态各分量的瞬时影响。Gram矩阵 $G=J^\top J$ 则刻画动作空间中各方向上的敏感度大小与方向：其特征值对应主敏感方向上的增益，特征向量给出这些方向。两个模型若预测精度相近，其 $G$ 仍可能不同——例如特征向量发生旋转，意味着模型认为“最有效”的动作方向与真实系统不一致。对比两个 $G$ 时，常用主特征向量的夹角衡量方向偏差，用特征值比例衡量幅值偏差，这正好对应论文报告的“角度差”与“响应幅值精度”。

实验设计：用模拟器反事实做标尺

研究选择LeWorldModel（LeWM）作为对象，在两个环境上测试：Reacher和OGBench Cube。

核心方法是对比动作-雅可比Gram矩阵：一边是从学到的世界模型中提取的，另一边是从模拟器的反事实查询中得到的。模拟器反事实相当于"真实答案"，用来衡量模型对动作局部结构刻画得准不准。扰动尺度也被系统地改变，以观察几何误差是否随扰动大小而变化。

这种设计的好处在于，它把"预测误差"和"结构误差"分开来看——模型可能在整体预测上表现不错，但在局部方向上却已经偏了。

关键发现：方向偏了，尺度越大越"对齐"

第一，在最小扰动尺度下，主导动作方向出现明显偏差。Reacher上约差36°，Cube上约差42°。这意味着模型认为"最有效的动作方向"与模拟器中的真实方向并不一致。

第二，扰动放大十倍后，几何差异显著缩小：Reacher上约降低70%，Cube上约降低47%。换句话说，扰动越大，模型的动作几何越接近真实；在小扰动下反而最不准确。

第三，在学到的潜在表示中测得的动作几何，跨扰动尺度的变化幅度远大于在物理状态坐标中测得的几何。这提示潜在空间的局部结构稳定性本身就是一个需要关注的问题。

第四，模型给出的局部几何在预测"未见动作方向"上的响应幅值时，精度不如模拟器诱导的几何。也就是说，沿没见过的方向推一把，模型对状态变化大小的估计会偏。

论文给出的一个有意思的结论是：世界模型可以学到有意义的动作动力学，却未必忠实捕捉其局部敏感度结构。这两件事并不等价。

对规划实践的启示：CEM的协方差够不够

作者明确表示，尚未确立这些几何偏差是否直接导致规划失败，这是下一步要回答的问题。他们感兴趣的方向是：把局部动作几何纳入CEM的采样协方差，能否改善探索与控制表现。

这引出一个开放问题——标准CEM中的协方差自适应机制，是否已经隐含地补偿了局部几何的偏差？如果协方差只根据采样回报调整，而几何偏差是系统性的方向旋转，那么单靠协方差可能无法纠正。反过来，如果采样足够稠密，几何误差可能被平均掉。目前还没有定论。

从工程角度看，这项研究提供了一种可操作的诊断工具：动作-雅可比Gram矩阵的对比，可以在不依赖下游控制实验的前提下，暴露世界模型在局部动作响应上的结构性缺陷。对于把世界模型用于MPC的团队，这种检查可能比单纯看验证集预测误差更有信息量。

参考来源： 论文《Does LeWorldModel Preserve Local Action Geometry?》，NeurIPS 2026 NeurReps Workshop poster，arXiv:2610.31716。

背景补充

“扰动尺度”在这里指对名义动作施加的随机扰动幅度 $\epsilon$。局部几何本应在无穷小扰动下定义，但实际估计雅可比需用有限差分或回归，扰动太小时数值噪声占主导，扰动太大时非线性效应使线性近似失效。论文系统改变 $\epsilon$，发现小尺度下方向偏差最大、放大后反而收敛，说明估计结果同时受噪声与非线性影响。这也解释了为何潜在空间中几何随尺度变化更剧烈：潜在坐标是非线性的，不同尺度对应不同局部线性化点，坐标本身的曲率放大了这种不稳定性。