[KDD | 论文简读] 时间序列Transformer的任务感知重构

简读分享 | 龙文韬 编辑 | 乔剑博

论文题目

TARNet: Task-Aware Reconstruction for Time-Series Transformer

论文摘要

时间序列数据包含时间顺序信息，可以指导预测终端任务（如分类、回归）的表征学习。最近，有人尝试利用这些顺序信息，首先通过重构随机屏蔽时间段的时间序列值来预训练时间序列模型，然后在同一数据集上进行任务微调，最终证明任务性能的提高。然而，这种学习范式将数据重构与最终任务分离开来。作者认为，以这种方式学习的表征不受最终任务的影响，因此对于最终任务的表现来说可能是次优的。事实上，在不同的最终任务中，不同时间戳的重要性可能有显著差异。作者相信，通过重构重要的时间戳学习的表征将是改善任务性能的更好策略。在这项工作中，作者提出了TARNet（任务感知重构网络），这是一种使用Transformer来学习任务感知数据重构的新模型，可以增强终端任务的性能。具体来说，作者设计了一个数据驱动的掩蔽策略，使用来自终端任务训练的自我注意得分分布，对终端任务认为重要的时间戳进行采样。然后，作者屏蔽这些时间戳上的数据并重构它们，从而使重建工作具有任务意识。该重建任务与结束任务在每个epoch交替训练，共享单个模型中的参数，允许通过重建学到的表征来提高最终任务的性能。在数十个分类和回归数据集上的大量实验表明，TARNet在所有评估指标上的表现都明显优于最先进的基线模型。

论文链接

https://doi.org/10.1145/3534678.3539329