计算机科学>机器学习
职务: 长期序列预测需要复杂关注和超长输入吗?
摘要: 随着基于变换的模型在各种时间序列任务上取得了令人印象深刻的性能,长期序列预测(LTSF)任务近年来也受到了广泛关注。 然而,由于基于Transformer的方法固有的计算复杂性和长序列要求,其在LTSF任务中的应用仍有两个主要问题需要进一步研究:1)这些方法设计的稀疏注意机制是否真的减少了实际设备上的运行时间; 2) 这些模型是否需要超长的输入序列来保证性能? 本文给出的答案是否定的。 因此,为了更好地复制这两个问题,我们设计了一个轻量级的周期关注机制(Periodformer),该机制通过显式周期性更新了长期子序列的聚合,通过内置的邻近性更新了短期子序列。 同时,Periodformer中嵌入了一个门控机制来调节注意模块对预测结果的影响。 此外,为了充分利用GPU进行快速超参数优化(例如,找到合适的输入长度),提出了一种基于贝叶斯优化(Bayesian optimization,MABO)的多GPU异步并行算法。 MABO通过队列机制为每个GPU分配一个进程,然后一次创建多个试用,用于异步并行搜索,这大大减少了搜索时间。 与现有方法相比,多变量和单变量预测的Periodformer预测误差分别降低了13%和26%。 此外,MABO在寻找更好的超参数的同时,将平均搜索时间减少了46%。 总之,本文表明LTSF可能不需要复杂的注意和超长的输入序列。 该代码已在Github上开源。