Git Re-Basin
2022年由Ainsworth等人提出的神经网络模型合并方法，通过匈牙利算法或随机梯度下降寻找神经元排列置换矩阵，将独立训练的同构网络对齐到同一坐标系后进行插值，显著改善了朴素权重平均的效果
核心事实
时间轴 (近 90 天)
MAEM在达到固定容量上限时，通过Git Re-Basin对齐技术合并最少使用的专家，并利用MAE分布合成的拓扑感知伪数据将合并后的专家蒸馏成一个统一的融合专家。
Git Re-Basin对齐在专家数量较多时存在额外计算成本，是实际部署时需要考虑的工程问题。
Git Re-Basin通过求解排列矩阵将一个模型的神经元顺序重新映射到另一个模型的对应位置，可显著缩小两模型在损失曲面上的距离
Git Re-Basin由Ainsworth等人于2022年提出，是排列对齐方法的代表性工作
Git Re-Basin在数据分布差异较大的异构任务上效果不及同任务微调场景
Git Re-Basin通过匈牙利算法或随机梯度下降寻找使网络B激活分布最接近网络A的神经元置换矩阵
神经元对齐后两个网络之间的损失地景往往呈现线性模式，插值模型可保持相当性能，而朴素平均通常落入高损失的障碍区
全部知识事实 (7)
神经元对齐后两个网络之间的损失地景往往呈现线性模式，插值模型可保持相当性能，而朴素平均通常落入高损失的障碍区
65%待验证MAEM在达到固定容量上限时，通过Git Re-Basin对齐技术合并最少使用的专家，并利用MAE分布合成的拓扑感知伪数据将合并后的专家蒸馏成一个统一的融合专家。
50%待验证Git Re-Basin对齐在专家数量较多时存在额外计算成本，是实际部署时需要考虑的工程问题。
50%待验证Git Re-Basin通过求解排列矩阵将一个模型的神经元顺序重新映射到另一个模型的对应位置，可显著缩小两模型在损失曲面上的距离
50%待验证Git Re-Basin在数据分布差异较大的异构任务上效果不及同任务微调场景
50%待验证Git Re-Basin通过匈牙利算法或随机梯度下降寻找使网络B激活分布最接近网络A的神经元置换矩阵
50%待验证Git Re-Basin由Ainsworth等人于2022年提出，是排列对齐方法的代表性工作
50%