针对时间序列预测(time series forecasting,TSF)研究面临的两大问题:序列内与序列间相关性建模时未考虑潜在的动态变化、对多个相关预测任务独立训练导致模型泛化能力受限,提出了一种基于动态图卷积的多任务TSF(dynamic graph convolut...针对时间序列预测(time series forecasting,TSF)研究面临的两大问题:序列内与序列间相关性建模时未考虑潜在的动态变化、对多个相关预测任务独立训练导致模型泛化能力受限,提出了一种基于动态图卷积的多任务TSF(dynamic graph convolutional multi-task TSF,DGMTSF)模型。DGMTSF引入多头注意(multi-head attention,MHA),通过动态注意权重并行地、自适应地学习序列内不同时间步之间的时变相关性;将图卷积网络(graph convolutional network,GCN)嵌入长短期记忆(long short term memory,LSTM),在每一步时序状态上进行信息传播与聚合,从而有效建模不同序列间动态相关性。DGMTSF在多任务学习框架下设计特征加权共享机制,任务子网的每一层均能将自身特征图与其他所有子网前一层的特征进行加权融合,既强化了任务间共享特征的学习,又能依据不同任务需求灵活调整特征共享程度,大幅提升了模型的泛化能力。在真实公开医疗数据集上的实验验证结果表明,DGMTSF较基线方法表现出突出的预测性能优势。展开更多
多任务优化算法在各任务单独优化的同时进行任务间的知识迁移,从而提升多个任务的综合性能。然而,在相似度较低的任务间进行负向知识迁移反而会导致整体性能下降,且为难度不同的任务分配同等的计算资源会造成资源浪费。此外,在任务的不...多任务优化算法在各任务单独优化的同时进行任务间的知识迁移,从而提升多个任务的综合性能。然而,在相似度较低的任务间进行负向知识迁移反而会导致整体性能下降,且为难度不同的任务分配同等的计算资源会造成资源浪费。此外,在任务的不同阶段采用固定的搜索步长容易陷入局部最优。为解决上述问题,提出了一种基于自适应知识迁移与动态资源分配的多任务协同优化(Multitask Cooperative Optimization Algorithm Based on Adaptive Knowledge Transfer and Resource Allocation,AMTO)算法。首先,每个任务用一个单独的种群进行优化,并将一个种群分成3个子种群,采用3种不同的搜索策略,增加搜索行为的多样性,并且在单个任务内根据个体成功率来动态更新搜索步长,增强自适应搜索能力,避免陷入局部最优;其次,利用多个任务间知识迁移的反馈结果在线计算任务间相似度,并依据相似度自适应地调整迁移概率,同时,在相似度较低的任务间进行迁移时还需减去任务偏差,减小负向知识迁移造成的性能下降程度,提升算法对任务间差异的感知能力;然后,通过评估任务性能的提升度来估计任务难度与优化状态,对不同难度与状态的任务动态按需分配资源,最大限度地提升资源的利用率,减少资源浪费;最后,在简单与复杂两类多任务优化函数上,将本文算法与经典的多任务算法进行对比实验,验证了本文算法中自适应迁移策略、动态资源分配策略及其综合的有效性。展开更多
文摘针对时间序列预测(time series forecasting,TSF)研究面临的两大问题:序列内与序列间相关性建模时未考虑潜在的动态变化、对多个相关预测任务独立训练导致模型泛化能力受限,提出了一种基于动态图卷积的多任务TSF(dynamic graph convolutional multi-task TSF,DGMTSF)模型。DGMTSF引入多头注意(multi-head attention,MHA),通过动态注意权重并行地、自适应地学习序列内不同时间步之间的时变相关性;将图卷积网络(graph convolutional network,GCN)嵌入长短期记忆(long short term memory,LSTM),在每一步时序状态上进行信息传播与聚合,从而有效建模不同序列间动态相关性。DGMTSF在多任务学习框架下设计特征加权共享机制,任务子网的每一层均能将自身特征图与其他所有子网前一层的特征进行加权融合,既强化了任务间共享特征的学习,又能依据不同任务需求灵活调整特征共享程度,大幅提升了模型的泛化能力。在真实公开医疗数据集上的实验验证结果表明,DGMTSF较基线方法表现出突出的预测性能优势。
文摘多任务优化算法在各任务单独优化的同时进行任务间的知识迁移,从而提升多个任务的综合性能。然而,在相似度较低的任务间进行负向知识迁移反而会导致整体性能下降,且为难度不同的任务分配同等的计算资源会造成资源浪费。此外,在任务的不同阶段采用固定的搜索步长容易陷入局部最优。为解决上述问题,提出了一种基于自适应知识迁移与动态资源分配的多任务协同优化(Multitask Cooperative Optimization Algorithm Based on Adaptive Knowledge Transfer and Resource Allocation,AMTO)算法。首先,每个任务用一个单独的种群进行优化,并将一个种群分成3个子种群,采用3种不同的搜索策略,增加搜索行为的多样性,并且在单个任务内根据个体成功率来动态更新搜索步长,增强自适应搜索能力,避免陷入局部最优;其次,利用多个任务间知识迁移的反馈结果在线计算任务间相似度,并依据相似度自适应地调整迁移概率,同时,在相似度较低的任务间进行迁移时还需减去任务偏差,减小负向知识迁移造成的性能下降程度,提升算法对任务间差异的感知能力;然后,通过评估任务性能的提升度来估计任务难度与优化状态,对不同难度与状态的任务动态按需分配资源,最大限度地提升资源的利用率,减少资源浪费;最后,在简单与复杂两类多任务优化函数上,将本文算法与经典的多任务算法进行对比实验,验证了本文算法中自适应迁移策略、动态资源分配策略及其综合的有效性。
