NinaXander
发表于arXiv的跨架构语言模型组合研究论文，提出通过共享潜空间适配器将不同架构家族的冻结语言模型层拼接，实现混合架构推理的技术路径。
时间轴 (近 90 天)
NinaXander 是一系列组合语言模型，使用经过训练的共享潜空间适配器把来自不同架构家族的冻结语言模型的层连接起来
NinaXander 的运作流程是先运行模型A的前若干层，用适配器转换中间表示，再送入模型B的剩余层，两个模型都冻结只训练适配器
Pythia前5层加RWKV剩余27层的组合将Transformer的KV缓存减少了84.4%，准确率与单独使用RWKV相比没有显著差异
组合模型的多项选择准确率无一超越父模型Pythia，某些组合能媲美RWKV但无法达到原始Pythia水平
在WikiText等训练域之外的语料上，组合模型的跨域语言建模性能急剧下降
研究者只在共享分词器、相同深度、相同隐藏层宽度的理想情形下获得了中间表示的良好对应
论文作者明确指出中间表示的对应关系并不能证明不同模型之间存在通用的语义空间
跨架构模型组合存在推理效率增益与性能妥协之间的权衡：可换取KV缓存削减但无法超越父模型且跨域泛化能力有限
全部知识事实 (8)
NinaXander 是一系列组合语言模型，使用经过训练的共享潜空间适配器把来自不同架构家族的冻结语言模型的层连接起来
50%待验证NinaXander 的运作流程是先运行模型A的前若干层，用适配器转换中间表示，再送入模型B的剩余层，两个模型都冻结只训练适配器
50%待验证Pythia前5层加RWKV剩余27层的组合将Transformer的KV缓存减少了84.4%，准确率与单独使用RWKV相比没有显著差异
50%待验证组合模型的多项选择准确率无一超越父模型Pythia，某些组合能媲美RWKV但无法达到原始Pythia水平
50%待验证在WikiText等训练域之外的语料上，组合模型的跨域语言建模性能急剧下降
50%待验证研究者只在共享分词器、相同深度、相同隐藏层宽度的理想情形下获得了中间表示的良好对应
50%待验证论文作者明确指出中间表示的对应关系并不能证明不同模型之间存在通用的语义空间
50%待验证跨架构模型组合存在推理效率增益与性能妥协之间的权衡：可换取KV缓存削减但无法超越父模型且跨域泛化能力有限
50%