To improve the agility, dynamics, composability, reusability, and development efficiency restricted by monolithic federation object model （FOM）, a modular FOM is proposed by high level architecture （HLA） evolved p...To improve the agility, dynamics, composability, reusability, and development efficiency restricted by monolithic federation object model （FOM）, a modular FOM is proposed by high level architecture （HLA） evolved product development group. This paper reviews the state-of-the-art of HLA evolved modular FOM. In particular, related concepts, the overall impact on HLA standards, extension principles, and merging processes are discussed. Also permitted and restricted combinations, and merging rules are provided, and the influence on HLA interface specification is given. The comparison between modular FOM and base object model （BOM） is performed to illustrate the importance of their combination. The applications of modular FOM are summarized. Finally, the significance to facilitate compoable simulation both in academia and practice is presented and future directions are pointed out.展开更多
云-边-端分层联邦学习扩展了云端数据访问范围,增强了模型训练效果,但庞大的网络规模和设备数量加重了通信负担。为了解决这一问题,提出一种固定剪枝率层剪枝算法(Layer-wise Pruning with Fixed Layer-preserving Rate for cloud-edge-...云-边-端分层联邦学习扩展了云端数据访问范围,增强了模型训练效果,但庞大的网络规模和设备数量加重了通信负担。为了解决这一问题,提出一种固定剪枝率层剪枝算法(Layer-wise Pruning with Fixed Layer-preserving Rate for cloud-edge-client Hierarchical Federated Learning,LP-FLR-HFL),在模型参数上传前进行层剪枝以有效压缩模型规模,减少系统开销。在此基础上,考虑不同客户端的模型训练差异,提出一种自适应剪枝率层剪枝算法(Layer-wise Pruning with Adaptive Layer-preserving Rate for cloud-edge-client Hierarchical Federated Learning,LP-ALR-HFL),可根据模型准确度实时调控模型修剪率,有效克服非独立同分布数据对剪枝效果的影响,更好适应模型变化。仿真结果表明,在保证模型精度可控的前提下,LP-FLR-HFL算法较基准算法最大可降低56.06%的系统时延和48.88%的能耗,LP-ALR-HFL算法在保持LP-FLR-HFL时延与能耗优化效果的同时,模型精度最高可提升4.71%。展开更多
联邦学习(FL)是一种分布式机器学习方法,即利用分布式数据在训练模型的同时保护数据隐私。然而,它在高度异构的数据分布情况时表现不佳。个性化联邦学习(PFL)通过为每个客户端提供个性化模型来解决这一问题。然而,以往的PFL算法主要侧...联邦学习(FL)是一种分布式机器学习方法,即利用分布式数据在训练模型的同时保护数据隐私。然而,它在高度异构的数据分布情况时表现不佳。个性化联邦学习(PFL)通过为每个客户端提供个性化模型来解决这一问题。然而,以往的PFL算法主要侧重于客户端本地模型的优化,忽略了服务器端全局模型的优化,导致服务器计算资源没有得到充分利用。针对上述局限性,提出基于模型预分配(PA)与自蒸馏(SD)的PFL方法FedPASD。FedPASD从服务器端和客户端2方面入手:在服务器端,对下一轮客户端模型有针对性地预先分配,这样不仅能提高模型的个性化性能,还能有效利用服务器的计算能力;在客户端,经过分层训练,并通过模型自蒸馏微调使模型更好地适应本地数据分布的特点。在3个数据集CIFAR-10、Fashion-MNIST和CIFAR-100上,将FedPASD与FedCP(Federated Conditional Policy)、FedPAC(Personalization with feature Alignment and classifier Collaboration)和FedALA(Federated learning with Adaptive Local Aggregation)等作为基准的典型算法进行对比实验的结果表明:FedPASD在不同异构设置下的测试准确率都高于基准算法。具体而言,FedPASD在CIFAR-100数据集上,客户端数量为50,参与率为50%的实验设置中,测试准确率较传统FL算法提升了29.05~29.22个百分点,较PFL算法提升了1.11~20.99个百分点;在CIFAR-10数据集上最高可达88.54%测试准确率。展开更多
联邦学习因具有隐私保护的天然特性,已经逐渐成为一个被广泛认可的分布式机器学习框架。但由于参与方数据分布的差异性,特别是呈现非独立同分布(Non-Independent and Identically Distributed,Non-IID)时,其面临着泛化性能不足、收敛性...联邦学习因具有隐私保护的天然特性,已经逐渐成为一个被广泛认可的分布式机器学习框架。但由于参与方数据分布的差异性,特别是呈现非独立同分布(Non-Independent and Identically Distributed,Non-IID)时,其面临着泛化性能不足、收敛性能下降、数据倾斜等严峻挑战。用预训练基础模型缓解Non-IID问题作为一种新颖的方法,演变出了各种各样的解决方案。对此,从预训练基础模型的角度,对现有工作进行了综述。首先介绍了基础模型方法,对典型的基础模型编码结构进行对比分析。其次从修改输入、基础模型部分结构再训练,以及参数高效微调3个角度,提出了一种新的分类方法。最后探讨了该类工作的核心难题和未来研究方向。展开更多
基金supported by the National Natural Science Foundation of China(6067406960574056).
文摘To improve the agility, dynamics, composability, reusability, and development efficiency restricted by monolithic federation object model （FOM）, a modular FOM is proposed by high level architecture （HLA） evolved product development group. This paper reviews the state-of-the-art of HLA evolved modular FOM. In particular, related concepts, the overall impact on HLA standards, extension principles, and merging processes are discussed. Also permitted and restricted combinations, and merging rules are provided, and the influence on HLA interface specification is given. The comparison between modular FOM and base object model （BOM） is performed to illustrate the importance of their combination. The applications of modular FOM are summarized. Finally, the significance to facilitate compoable simulation both in academia and practice is presented and future directions are pointed out.
文摘联邦学习(FL)是一种分布式机器学习方法,即利用分布式数据在训练模型的同时保护数据隐私。然而,它在高度异构的数据分布情况时表现不佳。个性化联邦学习(PFL)通过为每个客户端提供个性化模型来解决这一问题。然而,以往的PFL算法主要侧重于客户端本地模型的优化,忽略了服务器端全局模型的优化,导致服务器计算资源没有得到充分利用。针对上述局限性,提出基于模型预分配(PA)与自蒸馏(SD)的PFL方法FedPASD。FedPASD从服务器端和客户端2方面入手:在服务器端,对下一轮客户端模型有针对性地预先分配,这样不仅能提高模型的个性化性能,还能有效利用服务器的计算能力;在客户端,经过分层训练,并通过模型自蒸馏微调使模型更好地适应本地数据分布的特点。在3个数据集CIFAR-10、Fashion-MNIST和CIFAR-100上,将FedPASD与FedCP(Federated Conditional Policy)、FedPAC(Personalization with feature Alignment and classifier Collaboration)和FedALA(Federated learning with Adaptive Local Aggregation)等作为基准的典型算法进行对比实验的结果表明:FedPASD在不同异构设置下的测试准确率都高于基准算法。具体而言,FedPASD在CIFAR-100数据集上,客户端数量为50,参与率为50%的实验设置中,测试准确率较传统FL算法提升了29.05~29.22个百分点,较PFL算法提升了1.11~20.99个百分点;在CIFAR-10数据集上最高可达88.54%测试准确率。
文摘联邦学习因具有隐私保护的天然特性,已经逐渐成为一个被广泛认可的分布式机器学习框架。但由于参与方数据分布的差异性,特别是呈现非独立同分布(Non-Independent and Identically Distributed,Non-IID)时,其面临着泛化性能不足、收敛性能下降、数据倾斜等严峻挑战。用预训练基础模型缓解Non-IID问题作为一种新颖的方法,演变出了各种各样的解决方案。对此,从预训练基础模型的角度,对现有工作进行了综述。首先介绍了基础模型方法,对典型的基础模型编码结构进行对比分析。其次从修改输入、基础模型部分结构再训练,以及参数高效微调3个角度,提出了一种新的分类方法。最后探讨了该类工作的核心难题和未来研究方向。
