论文标题:Battling the Non-stationarity in Time Series Forecasting via Test-time Adaptation
论文链接:https://ojs.aaai.org/index.php/AAAI/article/view/33965
非平稳序列
01 非平稳时间序列的定义
这篇文章主要解决非平稳时间序列建模的问题,所谓时间序列的非平稳性,是指即数据分布随时间持续变化,即均值和方差等统计特征在整个时间范围内变化。非平稳序列带来的问题是我们往往无法用固定的统计规律或模型捕捉其长期模式,预测时易出现偏差且模型泛化能力差。如下图给出了机组平稳序列和非平稳序列的样例。
02 现有研究的不足
已有的研究大多通过改进训练过程来提升时间序列预测模型的稳健性,比如我们额之前介绍的文章就是改进注意力机制提升对非平稳序列的处理能力。
但是,如图1(a)所示,随着非平稳性加剧,训练数据与测试数据之间的分布差异会随时间不断扩大,即便预训练模型已从训练数据中学习到有意义的时序语义信息,其可靠性也会逐渐下降。
03 本文的核心逻辑
时序任务与其它任务不同,时间序列具有 “时序连续性”—— 预测未来 H 个时间步后,我们会逐步观测到部分预测结果的真实值(即 POGT),而非必须等待 H 个时间步后才能获取完整真实值(GT)。如图(b)所示,随着时间推进到 t+p(p<H),可观测到前 p 个时间步的真实值(POGT);此时无需等待到 t+H(获取完整 GT),即可利用 POGT 对模型进行自适应调整。
POGT 的存在使 “主动、及时的测试使自适应” 成为可能,解决了传统 TTA 在 TSF 场景中 “自适应滞后” 的问题。
TAFAS:非平稳时间序列test时的自适应预测
一句话概括TAFAS的核心:时间序列部分观测真实值是可获取的,让预训练源模型在测试时主动适配非平稳数据分布且保留其核心语义,通过PAAS动态确定POGT长度,利用GCM校准输入输出分布,最后调整预测结果来实现自适应。
01 周期性感知自适应调度(PAAS)
PAAS模块通过自适应调整避免因 POGT 过短导致语义信息不足,也防止因 POGT 过长造成自适应滞后。具体步骤:
通过FFT筛选出周期性最显著变量,并计算该变量的主导频率以推导主导周期,将此周期设为初始 POGT 长度;
随后按该 POGT 长度聚合测试mini-batch,待新的回溯窗口到来时重复上述流程动态更新 POGT 长度,确保适配不同数据段的周期性差异,
最终实现数据无关的自适应调度,为后续门控校准模块(GCM)提供包含有意义时序模式的学习信号
02 门控校准模块(GCM)
GCM核心目标是实现模型无关的测试时自适应,处理局部/全局非平稳性,且不修改预训练模型参数。具体步骤:
分输入GCM(校准偏移测试输入)和输出GCM(校准模型原始预测),分别附着于源模型两端;
通过变量级时序校准(线性变换应对局部偏移)和门控控制(动态门控向量适配全局偏移)协同工作,初始参数设为零避免无效校准;
以“部分真实值损失+历史完整真实值损失”(无历史值时仅用前者)为损失更新参数;最终为预测调整提供校准后的输入与预测
03 预测调整(PA)
PA核心目标是将GCM适配效果落地到最终预测,反映最新分布偏移。具体步骤:
GCM适配后,重算当前mini-batch所有回溯窗口的校准适配预测;按“是否已观测真实值”分段替换预测——已观测部分保留原校准预测,未观测部分用适配后预测;
通过分段函数明确替换逻辑;最终完成自适应闭环,输出贴合当前分布的预测结果。
实验验证
数据集包括7 个多变量 TSF 基准数据集(ETTh1/2、ETTm1/2 等),均含显著非平稳性;模型与指标:6 种主流架构(iTransformer、DLinear 等)+ 基础模型 Chronos,以 MSE 为核心指标,辅助 MAE 与标准差。
性能优势
TAFAS 在所有数据集 / 模型上降低 MSE,长期预测提升更显著,对 Chronos 预测误差最高降 45%;相较预训练方法(RevIN 等),进一步降 MSE(如 iTransformer+H=720 时降 8.90%-9.39%),且优于在线 TSF 方法(如 ETTm1 的 MSE 0.512 远低于 FSNet 的 1.641)。
消融实验
移除 PAAS(固定 POGT)、GCM(调源模型内部)或预测调整,均导致性能下降,验证各组件必要性。
结论与未来方向
本文总结:提出 TSF-TTA 框架,为非平稳性问题提供新方向,通过动态确定 POGT 长度、校准输入输出分布实现对非平稳序列的建模预测。
本文不足:对突发极端分布偏移的适配响应滞后,效果未充分验证;部分参数需按数据集微调,缺乏完全自动化选择机制。
大家可以关注我【科学最top】,第一时间follow时序高水平论文解读!!!获取时序论文合集