任务向量可线性分解为可解释组件，实现精准控制LLM

大型语言模型（LLM）的 steering 技术中，任务向量（Task Vectors, TVs）因能紧凑地引导模型行为而备受关注，但长期以来它们被视作来自隐藏状态的原子化方向，其内部功能结构鲜为人知。一项最新研究提出，任务向量并非不可分割的整体，而是可以线性分解为功能可解释的组件，这为更精准的模型控制开辟了新路径。

任务向量的内部结构：从原子化到可分解

任务向量通常通过对比模型在不同任务下的隐藏状态提取，是一种轻量级的模型 steering 手段。然而，传统观点将其视为单一方向，忽略了其可能蕴含的丰富功能信息。该研究受上下文学习（in-context learning）分解为任务识别（Task Recognition, TR）和任务学习（Task Learning, TL）的启发，尝试将单一任务向量拆解为功能上可解释的组件。

研究者基于候选标签的 unembedding 向量，构建了 TR/TL 分解框架，将每个任务向量分离为 TR 组件、TL 组件和残差组件。其中，TR 组件负责识别任务类型，TL 组件负责学习任务的具体映射关系。这种分解不仅提升了可解释性，还为后续的干预优化奠定了基础。

上下文学习中的任务识别与任务学习

上下文学习（In-context Learning, ICL）指模型仅通过提示中的少量示例或指令就能完成新任务，而无需更新参数。已有研究将 ICL 的机制拆解为两个阶段：任务识别（Task Recognition, TR）负责根据示例或指令判断当前要执行的是哪一类任务，任务学习（Task Learning, TL）则负责从示例中归纳出具体的输入到输出映射。TR 更多依赖任务类型的语义线索，TL 则依赖示例间的模式。该研究正是借用这一二分框架，将单一任务向量拆解为分别对应 TR 与 TL 的功能组件，从而使“任务向量引导模型行为”这一黑箱过程获得可解释的中间变量。

unembedding 向量与候选标签

在 Transformer 语言模型中，unembedding（也称输出嵌入或 LM head）矩阵将最后一层隐藏状态映射为词表上的 logit 分布。对于分类任务，候选标签对应的 unembedding 向量可视为该标签在表示空间中的“读出方向”。研究者以这些候选标签的 unembedding 向量为基，将任务向量投影分解，从而得到与具体标签语义对齐的 TR/TL 系数。这种做法把抽象的隐藏状态干预与可解释的标签读出联系起来，使分解出的组件能够直接对应到“识别任务类型”和“学习标签映射”两类功能。

贝叶斯优化提升干预效果

为了更有效地利用分解后的组件，研究团队采用贝叶斯优化方法，针对 TR 和 TL 系数进行搜索，以找到更优的干预方向。他们在多个模型家族、分类任务以及基于指令和基于演示的任务向量上进行了评估。

实验结果显示，基于 TR/TL 的优化所识别出的干预方向，在性能上优于原始任务向量。尤其对于基于指令的任务向量，这种优化带来的提升更为可靠。尽管对随机方向进行优化也能改善性能，但 TR/TL 引导的搜索表现出更高的稳定性。

贝叶斯优化与 steering 系数搜索

贝叶斯优化是一种面向昂贵黑箱函数的全局优化方法，它通过高斯过程等代理模型拟合已评估点的性能，并利用采集函数在“探索”与“利用”之间权衡，从而以较少评估次数逼近最优解。在本研究中，待优化的目标是干预方向（由 TR 与 TL 系数组合定义）在验证集上的性能，每次评估都需要运行模型推理，成本较高，因此适合采用贝叶斯优化。相比网格搜索或随机搜索，它能在高维系数空间中更稳定地找到较优干预方向，这也是 TR/TL 引导搜索比随机方向优化更可靠的原因之一。

功能角色的实证：logit 层面的独特效应

除了性能提升，研究还发现，对分解后的组件进行孤立干预，会在 logit 层面产生不同的效应，这些效应与组件预期的功能角色一致。例如，单独干预 TR 组件主要影响任务类型的识别，而干预 TL 组件则影响具体任务的学习过程。这种一致性进一步验证了分解的合理性，表明任务向量确实包含功能上可分离的组件。

logit 层面干预与功能角色验证

logit 是模型在输出词表上给出的未归一化分数，经 softmax 后即为预测概率。对隐藏状态施加 steering 干预后，观察各候选标签 logit 的变化，可以判断该干预影响了哪些输出维度。若单独干预 TR 组件主要改变任务类型相关标签的 logit，而干预 TL 组件主要改变具体类别映射的 logit，则说明分解出的组件确实承担了不同功能。这种“干预—logit 响应”的对应关系，为任务向量具有功能可分离结构提供了直接的实证证据，而不仅仅是性能层面的间接支持。

多源验证与共识

据该研究团队在多个模型家族上的实验，以及独立分析者（如 B站UP主和 YouTube 频道）的讨论，任务向量的可分解性得到了交叉验证。共识在于，任务向量并非不可分割的整体，而是由功能上可解释的组件构成，这为模型的可解释性和控制提供了新思路。同时，对于优化方法的有效性，不同来源均认可 TR/TL 分解能带来更可靠的性能提升。

对 AI 应用与研究的启示

这项研究对 AI 应用和前沿研究均有重要影响。在应用层面，更精准的干预意味着可以更细粒度地控制 LLM 的行为，例如在分类任务中动态调整任务识别和学习策略。在研究层面，任务向量的分解为理解上下文学习机制提供了新工具，有望推动可解释 AI 的发展。

随着大模型日益复杂，对内部表示的结构化理解变得至关重要。任务向量的线性分解不仅揭示了其内部功能结构，还提供了一种可操作的控制手段，这或许会成为未来模型编辑和适配的标准方法之一。