[控场AI]
概念Trim, Elect Sign, Merge

TIES

一种模型合并方法,通过裁剪、符号选举、合并三步流程减少多个微调更新之间的参数干扰。

时间轴 (近 90 天)

11月5日

TIES方法在4B规模下精度波动6.7个百分点,而按损失效应选择仅波动0.7个百分点。

待验证50%
10月27日

在单目标扩展场景中,SSU-Wanda+TIES 在源语言保留与目标语言习得之间取得了最佳平衡,优于仅目标微调和标准TIES合并。

待验证50%
10月27日

SSU-Wanda 用于选择对源语言重要的参数进行保护,TIES 通过合并多个更新来减少干扰。

待验证50%
10月27日

TIES(Trim, Elect Sign, Merge)是一种模型合并方法,流程为:先裁剪每个更新向量中幅度最大的部分参数,再对冲突参数按多数更新方向进行符号选举,最后只合并与选举符号一致的参数。

待验证50%
10月8日

融合方式中LERP(线性插值)更偏向保留成人识别能力,而TIES更能恢复儿童识别增益

待验证50%
10月7日

TIES(Trim, Elect Sign & Merge)通过符号投票解决多任务向量叠加时的方向冲突问题

待验证50%

全部知识事实 (6)

来源文章