时间序列预测技术在医疗、金融、交通特别是电力领域被广泛应用。随着深度学习技术的发展,深度神经网络已被广泛应用于时间序列预测任务,其预测性能相比传统的预测方法有了显著提升。作为深度学习下一步发展方向的大规模预训练-微调模型...时间序列预测技术在医疗、金融、交通特别是电力领域被广泛应用。随着深度学习技术的发展,深度神经网络已被广泛应用于时间序列预测任务,其预测性能相比传统的预测方法有了显著提升。作为深度学习下一步发展方向的大规模预训练-微调模型,其在计算机视觉和自然语言处理任务上取得成功,但其在时间序列预测领域上的研究还非常有限。文章基于电力领域时间序列数据的特性及时序预测任务的特点,提出一种基于生成式预训练Transformer 2(generative pre-trained transformer 2,GPT-2)的泛用时间序列大规模预测模型面向时间序列的自回归解码(auto-decoding GPT for time series,ADGPT)。ADGPT在微调过程中引入了可学习的分解模块,将输入序列分解为季节组件和趋势组件,以解耦复杂的时态关联。ADGPT在微调过程中只冻结GPT-2模型中的注意力层权重和前馈层参数,以适应时间序列数据的特性。在3个电力领域真实数据集上的实验表明,ADGPT与最先进的时间序列预测模型相比可提高平均9.4%的预测精度,从而验证其在电力领域时间序列预测任务上的有效性。展开更多
文摘时间序列预测技术在医疗、金融、交通特别是电力领域被广泛应用。随着深度学习技术的发展,深度神经网络已被广泛应用于时间序列预测任务,其预测性能相比传统的预测方法有了显著提升。作为深度学习下一步发展方向的大规模预训练-微调模型,其在计算机视觉和自然语言处理任务上取得成功,但其在时间序列预测领域上的研究还非常有限。文章基于电力领域时间序列数据的特性及时序预测任务的特点,提出一种基于生成式预训练Transformer 2(generative pre-trained transformer 2,GPT-2)的泛用时间序列大规模预测模型面向时间序列的自回归解码(auto-decoding GPT for time series,ADGPT)。ADGPT在微调过程中引入了可学习的分解模块,将输入序列分解为季节组件和趋势组件,以解耦复杂的时态关联。ADGPT在微调过程中只冻结GPT-2模型中的注意力层权重和前馈层参数,以适应时间序列数据的特性。在3个电力领域真实数据集上的实验表明,ADGPT与最先进的时间序列预测模型相比可提高平均9.4%的预测精度,从而验证其在电力领域时间序列预测任务上的有效性。
