-
题名联邦学习统计异质性综述
- 1
-
-
作者
俞浩
范菁
孙伊航
董华
郗恩康
-
机构
云南民族大学电气信息工程学院
云南省无人自主系统重点实验室(云南民族大学)
云南省高校信息与通信安全灾备重点实验室(云南民族大学)
-
出处
《计算机应用》
北大核心
2025年第9期2737-2746,共10页
-
基金
国家自然科学基金资助项目(61540063)
教育部人文社会科学研究青年基金资助项目(20YJCZH129)
+2 种基金
云南省吴中海专家工作站项目(202305AF150045)
云南省教育厅科学研究基金项目资助(2025Y0670)
云南民族大学硕士研究生科研创新基金资助项目(2022SKY004)。
-
文摘
联邦学习是一种强调隐私保护的分布式机器学习框架。然而,它在应对统计异质性问题时面临显著挑战。统计异质性源于参与节点间的数据分布差异,可能导致模型更新偏差、全局模型性能下降以及收敛不稳定等问题。针对上述问题,首先,详细分析统计异质性带来的主要问题,包括特征分布不一致、标签分布不均衡、数据量不对称以及数据质量参差不齐等;其次,对现有的联邦学习统计异质性解决方案进行系统综述,包括局部校正、聚类方法、客户端选择优化、聚合策略调整、数据共享、知识蒸馏以及解耦优化等,并逐一评估它们的优缺点与适用场景;最后,探讨了未来的相关研究方向,如设备计算能力感知、模型异构适应、隐私安全机制的优化以及跨任务迁移能力的提升,为应对实际应用中的统计异质性提供参考。
-
关键词
联邦学习
统计异质性
客户端漂移
分布式学习
非独立同分布
-
Keywords
federated learning
statistical heterogeneity
client drift
distributed learning
non-Independent and Identically Distributed(non-IID)
-
分类号
TP399
[自动化与计算机技术—计算机应用技术]
-
-
题名基于本地漂移和多样性算力的联邦学习优化算法
- 2
-
-
作者
张一鸣
曹腾飞
-
机构
青海大学计算机技术与应用学院
青海省智能计算与应用实验室
-
出处
《计算机应用》
北大核心
2025年第5期1447-1454,共8页
-
基金
国家自然科学基金青年基金资助项目(62101299)
青海省应用基础研究项目(2024-ZJ-708)。
-
文摘
针对联邦学习(FL)在边缘计算应用中所面临的非独立同分布(non-IID)数据和异构算力挑战,为了避免non-IID数据导致客户端模型更新出现较大偏差,从而引发模型不稳定的收敛,引入本地漂移变量的概念;并通过校正本地模型参数,将本地训练过程与全局聚合过程分离,优化FL在non-IID数据训练过程中的性能。此外,鉴于边缘服务器算力的多样性,提出一种新的策略:从全局模型中划分出一个简化的神经网络子模型下发给算力受限的边缘服务器进行训练,而高算力的边缘服务器则使用整个全局模型进行训练;低算力边缘服务器训练所得的参数将上传至云服务器,通过冻结部分参数提高整个模型的拟合速度。结合以上2种方法,提出一种基于本地漂移和多样性算力的联邦学习优化算法(FedLD),旨在解决联邦学习在边缘计算应用中所面临的non-IID数据和多样性算力带来的异构挑战。实验结果表明,FedLD比FedAvg、SCAFFOLD和FedProx算法收敛更快、准确率更高,相较于FedProx,在50个客户端参与训练时,FedLD在MNIST、CIFAR-10和CIFAR-100数据集上分别将模型准确率提升了0.39%、3.68%和15.24%;与最新的FedProc算法相比,FedLD通信开销更低;在K最近邻(KNN)算法、长短期记忆(LSTM)模型和双向门控循环单元(GRU)模型上的对比实验结果也表明,结合FedLD后,这3种模型的预测精度均有约1%的提升。
-
关键词
联邦学习
边缘计算
异构性
非独立同分布数据
客户端漂移
多样性算力
-
Keywords
Federated Learning(FL)
edge computing
heterogeneity
non-Independent and Identically Distributed(non-IID)data
client drift
diversity computing power
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名基于结构增强的异质数据联邦学习模型正则优化算法
被引量：2
- 3
-
-
作者
张珉
梁美玉
薛哲
管泽礼
潘圳辉
赵泽华
-
机构
北京邮电大学计算机学院
北京邮电大学智能通信软件与多媒体北京市重点实验室
-
出处
《模式识别与人工智能》
EI
CSCD
北大核心
2023年第9期856-865,共10页
-
基金
国家自然科学基金项目(No.62192784,U22B2038,62172056,62272058)
中国人工智能学会-华为MindSpore学术奖励基金项目(No.CAAIXSJLJJ-2021-007B)资助。
-
文摘
联邦学习中由于不同客户端本地数据分布异质,在本地数据集上训练的客户端模型优化目标与全局模型不一致,导致出现客户端漂移现象,影响全局模型性能.为了解决非独立同分布数据带来的联邦学习模型性能下降甚至发散的问题,文中从本地模型的通用性角度出发,提出基于结构增强的异质数据联邦学习模型正则优化算法.在客户端利用数据分布异质的本地数据进行训练时,以结构化的方式采样子网络,并对客户端本地数据进行数据增强,使用不同的增强数据训练不同的子网络学习增强表示,得到泛化性较强的客户端网络模型,对抗本地数据异质带来的客户端漂移现象,在联邦聚合中得到性能更优的全局模型.在CIFAR-10、CIFAR-100、ImageNet-200数据集上的大量实验表明,文中算法性能较优.
-
关键词
联邦学习
非独立同分布(Non-IID)
数据异质性
客户端漂移
正则化
-
Keywords
Federated Learning
Non-Independently and Identically Distributed(Non-IID)
Data Heterogeneity
client drift
Regularization
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名非独立同分布数据下的自正则化联邦学习优化方法
被引量：4
- 4
-
-
作者
蓝梦婕
蔡剑平
孙岚
-
机构
福州大学计算机与大数据学院
-
出处
《计算机应用》
CSCD
北大核心
2023年第7期2073-2081,共9页
-
文摘
联邦学习(FL)是一种新的分布式机器学习范式,它在保护设备数据隐私的同时打破数据壁垒,从而使各方能在不共享本地数据的前提下协作训练机器学习模型。然而,如何处理不同客户端的非独立同分布(Non-IID)数据仍是FL面临的一个巨大挑战,目前提出的一些解决方案没有利用好本地模型和全局模型的隐含关系,无法简单而高效地解决问题。针对FL中不同客户端数据的Non-IID问题,提出新的FL优化算法——联邦自正则(FedSR)和动态联邦自正则(Dyn-FedSR)。FedSR在每一轮训练过程中引入自正则化惩罚项动态修改本地损失函数,并通过构建本地模型和全局模型的关系来让本地模型靠近聚合丰富知识的全局模型,从而缓解Non-IID数据带来的客户端偏移问题;Dyn-FedSR则在FedSR基础上通过计算本地模型和全局模型的相似度来动态确定自正则项系数。对不同任务进行的大量实验分析表明,FedSR和Dyn-FedSR这两个算法在各种场景下的表现都明显优于联邦平均(FedAvg)算法、联邦近端(FedProx)优化算法和随机控制平均算法(SCAFFOLD)等FL算法,能够实现高效通信,正确率较高,且对不平衡数据和不确定的本地更新具有鲁棒性。
-
关键词
联邦学习
非独立同分布
客户端偏移
正则化
分布式机器学习
隐私保护
-
Keywords
Federated Learning(FL)
Non-Independent Identical Distribution(Non-IID)
client drift
regularization
distributed machine learning
privacy-preserving
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
