模型合并
将多个独立训练的神经网络模型合并为单一模型的技术领域，包含权重平均、排列对齐、知识蒸馏、任务向量等多种方法，旨在无需重新训练即可整合多个模型的能力
核心事实
时间轴 (近 90 天)
统一秩约束是特定合并方法的副产品，而非合并的必要条件。
选择合并方法时，应优先考虑那些基于损失效应而非谱大小的算子。
常规模型合并做法要求所有专家使用相同的LoRA秩，但这并非合并本身的必然要求。
实验使用六种合并方法在统一秩与各领域自有最优秩两种设置下进行对比。
Expert Choice路由中，每个专家根据自己的偏好从所有token中挑选固定数量的top-k token，专家维度的负载均衡在数学上严格保证，但可能出现某些token没有被任何专家选中的情况。
模型合并对模型架构的一致性要求很高，且难以精确控制合并后的行为
模型合并直接在参数空间中操作，把多个模型的权重按某种方式组合起来；无需训练数据或梯度回传，仅凭权重的代数运算就能产出新模型
模型合并有效依赖于一个经验观察：微调后的模型往往处在损失曲面上的同一个盆地中，因此线性组合它们的权重不会导致性能坍塌
蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并
目前学术界对模型合并与蒸馏统一框架的系统性研究仍不充分，鲜有论文把二者放在同一理论框架下严格比较
还有 2 条时间轴事件
全部知识事实 (12)
蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并
65%待验证选择合并方法时，应优先考虑那些基于损失效应而非谱大小的算子。
50%待验证常规模型合并做法要求所有专家使用相同的LoRA秩，但这并非合并本身的必然要求。
50%待验证实验使用六种合并方法在统一秩与各领域自有最优秩两种设置下进行对比。
50%待验证统一秩约束是特定合并方法的副产品，而非合并的必要条件。
50%待验证Expert Choice路由中，每个专家根据自己的偏好从所有token中挑选固定数量的top-k token，专家维度的负载均衡在数学上严格保证，但可能出现某些token没有被任何专家选中的情况。
50%待验证模型合并对模型架构的一致性要求很高，且难以精确控制合并后的行为
50%待验证模型合并直接在参数空间中操作，把多个模型的权重按某种方式组合起来；无需训练数据或梯度回传，仅凭权重的代数运算就能产出新模型
50%待验证模型合并有效依赖于一个经验观察：微调后的模型往往处在损失曲面上的同一个盆地中，因此线性组合它们的权重不会导致性能坍塌
50%待验证目前学术界对模型合并与蒸馏统一框架的系统性研究仍不充分，鲜有论文把二者放在同一理论框架下严格比较
50%待验证在最小容量假设下，将两个专精网络无损合并为同样大小的网络在数学上基本不可行，因为固定容量系统无法承载两倍信息
50%待验证模型合并的成本极低，无需GPU算力，只需对权重文件做数学运算，因此在社区中极为流行
50%