[控场AI]
概念服务器动量

服务器动量

联邦学习中聚合更新的加权历史机制,通常以指数移动平均实现,用于平滑训练轨迹和减少客户端数据异构带来的震荡。

时间轴 (近 90 天)

11月2日

服务器动量是聚合更新的加权历史机制,通常以指数移动平均(EMA)形式实现:服务器在每轮聚合后不直接采用当前轮的平均梯度,而是将其与上一轮的模型参数按一定权重混合。

待验证50%
11月2日

对于编码器角色,RASO保留服务器动量,以稳定编码器的适应过程,即使某些模态在部分客户端中缺失。

待验证50%

全部知识事实 (2)

来源文章