[控场AI]
概念联邦平均 / Federated Averaging

FedAvg

联邦学习中经典的模型聚合算法,服务器将全局模型下发各客户端完成本地训练后,按各方样本量加权平均模型权重生成新全局模型,是联邦学习领域最基础的聚合策略

核心事实

时间轴 (近 90 天)

11月2日

动量能平滑训练轨迹、减少客户端数据异构带来的震荡,在FedAvg等经典算法中已被证明有助于收敛。

待验证50%
10月13日

FedAvg算法由McMahan等人于2017年提出。

待验证50%
10月12日

标准联邦聚合算法FedAvg假设客户端梯度可以直接平均以估计全局梯度,但在Non-IID条件下简单平均会造成梯度漂移

待验证50%
10月9日

联邦学习的基本流程是中央服务器下发全局模型,各本地节点用本地数据训练后仅上传梯度或模型权重差值,服务器通过FedAvg等算法聚合更新后再下发新全局模型

待验证50%
9月15日

FedAvg(联邦平均)算法中,服务器将全局模型下发给各客户端,各方在本地完成若干轮梯度更新后上传模型权重或梯度,服务器按样本量加权平均生成新的全局模型

待验证50%

全部知识事实 (6)

来源文章