柏拉图表示假说新解：对齐从何而来，又意味着什么？

神经网络是否正在收敛到相似的表示空间？柏拉图表示假说（Platonic Representation Hypothesis, PRH）给出了一个引人遐想的答案：随着模型能力提升，语言模型与视觉模型的内部表示正在趋同。然而，这一假说近期遭到不少质疑——有研究指出，对于更新的语言模型，这种趋同趋势未必成立；而且表示相似度指标本身可能受模型深度和宽度干扰，需要恰当的基线才能解读。

最近一篇工作对上述问题做了系统梳理。研究团队从三个层面推进：对齐在模型层与表示维度上究竟“浮现”于何处；PRH 的能力-对齐趋势在新模型上是否依然成立；以及如何为跨模态对齐建立合理的参照系。

对齐在何处浮现：逐层与逐维的审视

研究首先在单模态模型内部，考察层与层之间、表示维度之间的对齐情况。这相当于把“对齐”从模型级别的宏观对比，下沉到网络内部的微观结构。

这样做的意义在于：如果两个模型整体表示相似，这种相似性可能并非均匀分布，而是集中于某些层或某些维度。搞清楚对齐的“发源地”，才能判断趋同是模型能力的自然结果，还是架构或训练目标带来的副产物。此前有工作已经证明，表示相似度指标会受模型深度和宽度影响，因此本研究在分析时引入了适当的基线，避免把架构差异误读为表示趋同。

表示相似度指标（如 CKA、SVCCA）用于衡量两个模型内部表示之间的相似程度，其核心思想是比较样本在各自表示空间中的相对关系结构。然而这类指标对模型深度和宽度敏感：更深的网络天然具有更多层，层间相似度的分布会变化；更宽的网络则可能稀释单个维度上的信号。因此，若不控制架构变量，相似度数值可能反映的是容量差异而非真正的表示趋同。恰当的基线通常指在相同架构或随机初始化模型上测得的相似度水平，用以校准观测值，从而区分“有意义的对齐”与“架构带来的假象”。

能力-对齐趋势：新模型上依然成立，但有前提

针对“新语言模型是否还遵循 PRH 趋势”的争议，研究给出了一个更细致的结论：只要描述文本（captions）足够干净且信息充分，能力-对齐趋势对于更新的模型依然持续。

这实际上为之前的矛盾发现提供了一种解释——趋势并未消失，而是被数据质量掩盖了。当训练或评测所用的文本描述噪声较大、信息量不足时，模型表示之间的对齐信号会被削弱，导致看起来趋势中断。这一发现也提醒后续研究：在检验 PRH 时，数据清洗和描述质量是必须控制的变量。

能力-对齐趋势指模型能力越强，其内部表示与其它模态模型表示之间的相似度越高——这是 PRH 的核心经验预测。该趋势的检验依赖于配对样本：对同一语义内容，分别获取语言模型和视觉模型的表示，再计算相似度。**描述文本（captions）**在此充当语义锚点，若其噪声大或信息不足，配对样本的语义对应关系就会模糊，从而削弱可观测的对齐信号。这解释了为何不同研究会在新模型上得到矛盾结论：趋势本身可能持续，但被数据质量掩盖。

跨模态对齐需要参照系：单模态与多模态基线

研究进一步为跨模态对齐提供了语境化的解读，在不同数据集上引入了单模态与多模态基线。结果呈现出清晰的层次：

• 单模态模型之间的跨模态表示对齐，可以超过经过显式对齐训练的视觉-语言模型；
• 但这种跨模态对齐，仍然大幅落后于同模态模型之间的对齐水平。

换句话说，语言与视觉模型之间的趋同确实存在，甚至强于某些专门做对齐的多模态模型，但离“同一模态内部”的紧密程度还有相当距离。这一对比为 PRH 的强度提供了一个更诚实的标尺：趋同是真实的，但不应被夸大。

单模态基线指同模态模型之间（如两个语言模型或两个视觉模型）的表示相似度，代表该模态内部表示收敛的上限参照。多模态基线则指经过显式对齐训练（如对比学习）的视觉-语言模型，其跨模态表示相似度代表“被强制对齐”后的水平。将跨模态对齐置于这两类基线之间比较，才能判断其强度：超过多模态基线说明趋同是自发涌现的，落后于单模态基线则说明跨模态趋同仍有本质局限。缺乏参照系时，孤立的相似度数值无法解读。

这对表示学习研究意味着什么

这项工作的方法论价值可能不亚于其结论。它把 PRH 从一个宏大的假说，拆解为可检验的具体问题：对齐发生在哪、在什么条件下成立、相对于什么基线才有意义。

对于关注表示学习的从业者，至少有三点启示。其一，比较不同模型的表示时，必须控制深度、宽度等架构因素，否则相似度数字本身缺乏解释力。其二，数据质量是观察对齐趋势的前提条件，干净的描述文本会让信号更清晰。其三，跨模态对齐虽在推进，但与同模态对齐仍有明显差距，显式对齐的多模态模型并非终点。

代码已在 GitHub 开源（ExplainableML/prh-closer-look），为后续复现和扩展提供了基础。PRH 是否成立，或许不该用“是或否”回答，而应追问：在什么层面、什么条件下、相对于什么参照，对齐才真正 emerge。