LLM智能体价值-策略解离：能感知后果却选错动作

LLM智能体在需要多步决策的任务中常常做出糟糕选择，但我们很难判断：它是没有表征未来后果，还是表征了却没有用上？一项新研究通过机制可解释性方法，在Qwen2.5-7B-Instruct、Qwen2.5-32B-Instruct和GPT-OSS-20B三个模型上系统考察了这个问题，提出了「价值-策略解离」（value-policy dissociation）的概念。

什么是价值-策略解离

研究团队将强化学习中的动作价值（action value）概念引入LLM智能体分析：在部分可观测的Grid环境和模拟购物环境WebShop中，他们发现候选动作的相对价值可以从模型的中间隐藏状态中线性解码出来。关键在于，即便在策略偏好一个更差动作的状态下，这种价值信息依然存在于表征中。

换句话说，模型内部「知道」哪个动作更好，但它的输出策略却选了更差的那个。这种价值表征与策略选择之间的断裂，就是所谓价值-策略解离。它揭示了一个此前被忽视的失败模式：智能体的错误决策未必源于信息缺失，而可能源于信息未被有效利用。

动作价值（action value） 是强化学习中的核心概念，通常记为 Q(s, a)，表示在状态 s 下执行动作 a 后，按当前策略继续行动所能获得的期望累积回报。它刻画的是「这个动作有多好」，而不是「策略会选哪个动作」。在 LLM 智能体的语境中，研究者把模型在某个中间层对「下一步该做什么」的内部编码近似看作隐式的 Q 值：如果模型真正理解任务，其隐藏状态应当包含区分候选动作优劣的信息。线性可解码（linear decodability） 则指用一个简单的线性探针（如逻辑回归或线性回归）就能从隐藏状态中读出这一价值排序，这被视为该信息以较显式、较易访问的方式存在于表征中的证据。价值可解码但策略不采纳，正是「解离」的机制基础。

如何验证表征与选择的关系

仅仅证明价值可解码还不够，研究进一步追问：这种表征是否真的参与动作选择？团队比较了两种干预手段。

一种是沿价值读出方向做直接干预，效果有限且不一致。另一种是「自然价值传输」（Natural Value Transport, NVT），它从隐藏状态因动作价值差异而产生的自然变化中学习一种变换。结果显示，NVT能更一致地影响动作偏好，且在更靠后的层中效果更明显。

这一对比说明，价值信息在模型中的编码方式并非简单的线性读出通道，而更接近一种需要在特定层间流转才能影响决策的分布式表征。

机制可解释性中的干预实验 遵循「读出—干预—观察行为」的逻辑：先定位编码某信息的表征方向，再人为扰动该方向，看模型输出是否随之改变。方向干预（directional intervention） 的典型做法是沿价值读出向量加减一个标量，直接放大或抑制该方向的激活。这种做法假设信息以单一线性方向被策略读取，但实际模型中同一信息可能在多层以分布式方式流转，单点扰动容易被后续层「修正」或绕过，因此效果往往有限且不稳定。自然价值传输（NVT） 的不同之处在于，它不强行设定干预方向，而是从隐藏状态随动作价值差异自然产生的变化中学习一个变换映射，使干预更贴近模型自身的计算轨迹。这也解释了为何 NVT 在更靠后的层效果更明显——越接近输出，表征越接近策略实际采纳的决策变量。

闭环控制带来的任务提升

研究还测试了一个闭环控制器：把价值读出当作传感器，把NVT当作执行器，二者配合调节模型行为。实验观察到任务结果的改善。

这个设计的价值在于它验证了因果链条——如果价值读出只是被动反映信息、与决策无关，那么用它驱动干预不应带来系统性改善。闭环实验为「表征可被利用」提供了行为层面的证据，也为智能体对齐与可控性提供了新的工程思路：与其重新训练策略，不如在推理时读取并引导内部价值信号。

闭环控制 借用了控制论的「传感器—执行器」框架：传感器负责测量系统状态（此处是价值读出），执行器负责施加调节（此处是 NVT 干预），两者形成反馈回路而非开环的单次干预。在智能体实验中，这意味着每一步都读取当前隐藏状态中的价值信号，再据此实时调节模型偏好，而不是只在某个固定层做一次性扰动。闭环设计在方法论上的意义在于建立因果证据：若价值读出与决策无关，用它驱动干预就不会带来系统性行为改善；反之，稳定的任务提升说明该表征确实处于决策因果链上。这一思路也呼应了推理时干预（inference-time intervention）这一更广泛的对齐方向，即在不动模型权重的前提下引导内部信号。

对智能体研究的启示

这项工作的意义不止于一个现象命名。它提示我们，评估LLM智能体不能只看最终动作对错，还应区分「表征失败」与「利用失败」两类问题，因为二者的修复路径截然不同。

同时，NVT与读出方向干预的效果差异说明，机制可解释性中的干预方法需要更贴近模型自然的计算路径，简单粗暴的方向干预可能低估了内部信息的可用性。对于构建更可靠的智能体系统，理解价值表征如何流转、在哪些层被策略采纳，可能比单纯扩大模型规模更关键。