联邦学习是一种新型的分布式机器学习方法,可以在不共享原始数据的前提下训练模型。当前,联邦学习方法存在针对模型准确率最优化、通信成本最优化、参与者性能分布均衡等多个目标同时优化难的问题,难以做到多目标的同步均衡。针对该问题...联邦学习是一种新型的分布式机器学习方法,可以在不共享原始数据的前提下训练模型。当前,联邦学习方法存在针对模型准确率最优化、通信成本最优化、参与者性能分布均衡等多个目标同时优化难的问题,难以做到多目标的同步均衡。针对该问题,提出联邦学习四目标优化模型及求解算法。将全局模型错误率、模型准确率分布方差、通信成本、数据成本作为优化目标,构建优化模型。同时,针对该模型的求解搜索空间大,传统NSGA-Ⅲ算法难以寻优的问题,提出基于佳点集初始化策略的改进NSGA-Ⅲ联邦学习多目标优化算法GPNSGA-Ⅲ(Good Point Set Initialization NSGA-Ⅲ),以求取Pareto最优解。该算法通过佳点集初始化策略将有限的初始化种群以均匀的方式分布在目标求解空间中,相较于原始算法,使第一代解最大限度地接近最优值,提升寻优能力。实验结果证明,GPNSGA-Ⅲ算法得到的Pareto解的超体积值相较于NSGA-Ⅲ算法平均提升107%;Spacing值相较于NSGA-Ⅲ算法平均下降32.3%;对比其他多目标优化算法,GPNSGA-Ⅲ算法能在保证模型准确率的情况下,更有效地实现模型分布方差、通信成本和数据成本的均衡。展开更多
文摘联邦学习是一种新型的分布式机器学习方法,可以在不共享原始数据的前提下训练模型。当前,联邦学习方法存在针对模型准确率最优化、通信成本最优化、参与者性能分布均衡等多个目标同时优化难的问题,难以做到多目标的同步均衡。针对该问题,提出联邦学习四目标优化模型及求解算法。将全局模型错误率、模型准确率分布方差、通信成本、数据成本作为优化目标,构建优化模型。同时,针对该模型的求解搜索空间大,传统NSGA-Ⅲ算法难以寻优的问题,提出基于佳点集初始化策略的改进NSGA-Ⅲ联邦学习多目标优化算法GPNSGA-Ⅲ(Good Point Set Initialization NSGA-Ⅲ),以求取Pareto最优解。该算法通过佳点集初始化策略将有限的初始化种群以均匀的方式分布在目标求解空间中,相较于原始算法,使第一代解最大限度地接近最优值,提升寻优能力。实验结果证明,GPNSGA-Ⅲ算法得到的Pareto解的超体积值相较于NSGA-Ⅲ算法平均提升107%;Spacing值相较于NSGA-Ⅲ算法平均下降32.3%;对比其他多目标优化算法,GPNSGA-Ⅲ算法能在保证模型准确率的情况下,更有效地实现模型分布方差、通信成本和数据成本的均衡。
