Latent-Lens
一种跨模型隐空间通信方法，通过轻量级编解码器将冻结的视觉语言模型（VLM）的隐藏状态投影到冻结的小语言模型（SLM）的嵌入空间，实现无需文本中介的多模态信息传递，仅训练约1.6M参数。
时间轴 (近 90 天)
Latent-Lens 是一种让冻结的 VLM 和冻结的 SLM 通过隐空间通信的多智能体系统方法。
Latent-Lens 的核心是一个轻量级 codec，由领域编码器和注意力解码器组成，只训练约 1.6M 参数，两个主干模型全程冻结。
领域编码器将 VLM 的隐藏状态投影到 SLM 的嵌入空间，完成跨模型的表示对齐。
注意力解码器以 LoRA 形式实现，用于教会 SLM 关注视觉前缀。
在 VQA 任务的 CLEVR 数据集上，Latent-Lens 准确率为 81.0±7.9%，文本通信基线为 58.3±5.7%。
在图像描述任务（Flickr8k）上，Latent-Lens 相比相同 LoRA 预算的文本基线提升 +16.5，相比冻结版本提升 +18.8。
上述对比是在相同 LoRA 预算下进行的，排除了参数更多导致更强的解释。
Latent-Lens 在 TinyLlama-1.1B 和 InternVL2-1B 这对架构、词表和隐藏维度都不同的模型上依然可以工作。
Latent-Lens 目前依赖配对训练数据来学习投影，codec 的泛化边界和对复杂视觉推理任务的支持仍需更多验证。
全部知识事实 (9)
Latent-Lens 是一种让冻结的 VLM 和冻结的 SLM 通过隐空间通信的多智能体系统方法。
50%待验证Latent-Lens 的核心是一个轻量级 codec，由领域编码器和注意力解码器组成，只训练约 1.6M 参数，两个主干模型全程冻结。
50%待验证领域编码器将 VLM 的隐藏状态投影到 SLM 的嵌入空间，完成跨模型的表示对齐。
50%待验证注意力解码器以 LoRA 形式实现，用于教会 SLM 关注视觉前缀。
50%待验证在 VQA 任务的 CLEVR 数据集上，Latent-Lens 准确率为 81.0±7.9%，文本通信基线为 58.3±5.7%。
50%待验证在图像描述任务（Flickr8k）上，Latent-Lens 相比相同 LoRA 预算的文本基线提升 +16.5，相比冻结版本提升 +18.8。
50%待验证上述对比是在相同 LoRA 预算下进行的，排除了参数更多导致更强的解释。
50%待验证Latent-Lens 在 TinyLlama-1.1B 和 InternVL2-1B 这对架构、词表和隐藏维度都不同的模型上依然可以工作。
50%待验证Latent-Lens 目前依赖配对训练数据来学习投影，codec 的泛化边界和对复杂视觉推理任务的支持仍需更多验证。
50%