概念联邦平均 / Federated Averaging
FedAvg
联邦学习中经典的模型聚合算法,服务器将全局模型下发各客户端完成本地训练后,按各方样本量加权平均模型权重生成新全局模型,是联邦学习领域最基础的聚合策略
核心事实
时间轴 (近 90 天)
11月2日
动量能平滑训练轨迹、减少客户端数据异构带来的震荡,在FedAvg等经典算法中已被证明有助于收敛。
待验证50%
10月13日
FedAvg算法由McMahan等人于2017年提出。
待验证50%
10月12日
标准联邦聚合算法FedAvg假设客户端梯度可以直接平均以估计全局梯度,但在Non-IID条件下简单平均会造成梯度漂移
待验证50%
10月9日
联邦学习的基本流程是中央服务器下发全局模型,各本地节点用本地数据训练后仅上传梯度或模型权重差值,服务器通过FedAvg等算法聚合更新后再下发新全局模型
待验证50%
9月15日
FedAvg(联邦平均)算法中,服务器将全局模型下发给各客户端,各方在本地完成若干轮梯度更新后上传模型权重或梯度,服务器按样本量加权平均生成新的全局模型
待验证50%
全部知识事实 (6)
已验证
联邦学习让模型在数据本地完成训练更新,只上传梯度而非原始数据
85%待验证动量能平滑训练轨迹、减少客户端数据异构带来的震荡,在FedAvg等经典算法中已被证明有助于收敛。
50%待验证FedAvg算法由McMahan等人于2017年提出。
50%待验证标准联邦聚合算法FedAvg假设客户端梯度可以直接平均以估计全局梯度,但在Non-IID条件下简单平均会造成梯度漂移
50%待验证联邦学习的基本流程是中央服务器下发全局模型,各本地节点用本地数据训练后仅上传梯度或模型权重差值,服务器通过FedAvg等算法聚合更新后再下发新全局模型
50%待验证FedAvg(联邦平均)算法中,服务器将全局模型下发给各客户端,各方在本地完成若干轮梯度更新后上传模型权重或梯度,服务器按样本量加权平均生成新的全局模型
50%