针对非独立同分布(Non-IID)场景下,联邦学习系统面临收敛缓慢和模型准确率降低等挑战,提出联邦学习中基于条件生成对抗网络的数据增强方案(FDA-GAN)。首先,设计一种类别选择的条件生成器为每个类别添加独立的网络模块,并将标签作为条件...针对非独立同分布(Non-IID)场景下,联邦学习系统面临收敛缓慢和模型准确率降低等挑战,提出联邦学习中基于条件生成对抗网络的数据增强方案(FDA-GAN)。首先,设计一种类别选择的条件生成器为每个类别添加独立的网络模块,并将标签作为条件信息,以更精确地提取各类别的特定特征;其次,提出一种覆盖类别的客户端选择策略来基于客户端的综合奖励,选择包含尽可能多类别的客户端集合参与训练,确保生成对抗网络(GAN)能学习到完整的类别分布;最后,利用生成样本扩充客户端的本地数据集,以优化本地数据的特征构成,减小客户端之间的偏差。实验结果表明,FDA-GAN在狄利克雷数据划分下,相较于CAP-GAN(Collaborated gAme Parallel learning based on GAN)的MNIST Score(MNIST inception Score)和Mode Score指标上分别提升了2.67和1.08,在FID(Fréchet Inception Distance)和MMD(Maximum Mean Discrepancy)指标上分别降低了55.12和2.56;在不同的Non-IID场景下,FedAvg(Federated Averaging)和FedProx(Federated Proximal)算法在结合FDA-GAN后,在50轮通信轮次内达到收敛,并且准确率提升了至少30.36个百分点。可见,FDA-GAN可以提高生成样本的质量与多样性,而且与基线算法结合后可以大幅提高联邦模型的准确率和收敛速度。展开更多
文摘针对非独立同分布(Non-IID)场景下,联邦学习系统面临收敛缓慢和模型准确率降低等挑战,提出联邦学习中基于条件生成对抗网络的数据增强方案(FDA-GAN)。首先,设计一种类别选择的条件生成器为每个类别添加独立的网络模块,并将标签作为条件信息,以更精确地提取各类别的特定特征;其次,提出一种覆盖类别的客户端选择策略来基于客户端的综合奖励,选择包含尽可能多类别的客户端集合参与训练,确保生成对抗网络(GAN)能学习到完整的类别分布;最后,利用生成样本扩充客户端的本地数据集,以优化本地数据的特征构成,减小客户端之间的偏差。实验结果表明,FDA-GAN在狄利克雷数据划分下,相较于CAP-GAN(Collaborated gAme Parallel learning based on GAN)的MNIST Score(MNIST inception Score)和Mode Score指标上分别提升了2.67和1.08,在FID(Fréchet Inception Distance)和MMD(Maximum Mean Discrepancy)指标上分别降低了55.12和2.56;在不同的Non-IID场景下,FedAvg(Federated Averaging)和FedProx(Federated Proximal)算法在结合FDA-GAN后,在50轮通信轮次内达到收敛,并且准确率提升了至少30.36个百分点。可见,FDA-GAN可以提高生成样本的质量与多样性,而且与基线算法结合后可以大幅提高联邦模型的准确率和收敛速度。
