计算机科学>机器学习
标题: 用于多变量时间序列预测的联合时频域变换器
摘要: 为了提高变压器模型用于长期多变量预测的性能,同时最小化计算需求,本文引入了联合时频域变压器(JTFT)。 JTFT结合时域和频域表示进行预测。 频域表示有效地提取多尺度相关性,同时利用少量可学习频率保持稀疏性。 同时,时域(TD)表示是从固定数量的最新数据点导出的,加强了局部关系的建模,并减轻了非国家性的影响。 重要的是,表示的长度与输入序列长度无关,从而使JTFT能够实现线性计算复杂性。 此外,提出了一种低秩注意力层来有效地捕获跨维依赖性,从而防止由于时间和通道建模的纠缠而导致的性能下降。 在六个真实数据集上的实验结果表明,JTFT的预测性能优于最先进的基线。