相关链接论文arXiv地址https://arxiv.org/abs/2509.14933开源代码仓库https://github.com/decisionintelligence/DAG思路及改进讲解https://space.bilibili.com/51422950?spm_id_from333.1007.0.0摘要时序预测在众多领域都至关重要。相比只依赖内生变量即目标变量把外生变量即协变量纳入考虑能够提供额外的预测信息往往带来更准确的预测。然而现有面向带外生变量时序预测TSF-X的方法存在两个缺点①它们没有利用未来外生变量②它们未能充分考虑内生变量与外生变量之间的相关性。为了更好地利用外生变量、尤其是未来外生变量作者提出DAG沿时间维与通道维构建双相关网络Dual correlAtion network for TSF with exoGenous variables。DAG包含两个核心组件时间相关模块与通道相关模块两个模块都由一个相关发现子模块和一个相关注入子模块构成前者分别刻画历史外生变量对未来外生变量、以及对历史内生变量的相关效应后者则把发现的相关关系注入到基于历史内生变量和未来外生变量预测未来内生变量的过程中。在12个满足TSF-X条件的真实数据集以及8个常用多变量数据集上的大量实验表明DAG在MSE上取得10个第一、在MAE上取得11个第一第一名次数为所有方法之最整体明显优于TimeXer、TFT等强基线。Q1这个模型试图解决什么问题核心问题是在带外生变量的时序预测中天气、日历、节假日、未来促销计划等协变量往往事先已知、包含目标变量自身历史所没有的预测信息尤其是未来外生变量但现有方法要么完全不用外生变量、要么只看历史外生变量且普遍没有显式建模内生变量与外生变量之间在时间维与通道维上的相关关系导致这部分可执行的先验信息被浪费。图注现有时序预测算法的四类划分。(a)不含外生变量的单变量/多变量算法如PatchTST、DUET(b)只考虑历史外生变量如TimeXer、CrossLinear(c)同时考虑历史与未来外生变量如TiDE、TFT(d)DAG同时考虑外生变量与相关关系。1.外生变量的价值被低估外生变量不是直接预测目标、却会影响内生变量且常可提前获知例如交通场景中未来天气可改善对未来车流量的估计零售场景中节假日安排与促销活动可改善备货计划只学单一或多个内生变量的时间依赖、等于放弃了这部分额外信息2.缺点①不利用未来外生变量多数预测器只输入历史观测即使未来外生变量在预测时已经近似已知或高度准确也不使用少数方法TiDE、TFT虽纳入未来外生变量却没有进一步刻画变量间的相关结构3.缺点②未充分考虑内生与外生的相关性现有方法通常把多源信息简单拼接或融合没有沿时间维刻画“历史外生如何影响未来外生”、也没有沿通道维刻画“外生如何影响内生”而这两类相关关系恰恰是可以迁移到内生预测中的关键信号。图注两类可迁移相关的动机示意。(a)相似时间相关历史外生到未来外生的影响用Granger因果衡量在结构上类似于历史内生到未来内生的演化(b)相似通道相关外生变量之间、外生与内生之间的相关用Pearson相关衡量可迁移但未来外生与未来内生之间的相关在现有方法中欠建模。Q2相关研究单变量与多变量时序预测现有时间序列预测模型通常按输入与输出方式分为单变量与多变量两类。单变量/通道独立方法如PatchTST对每条序列单独建模、共享参数避免通道间噪声干扰多变量方法则尝试跨通道建模依赖。但这些方法都不使用外生变量对应图1(a)。带外生变量的预测面向TSF-X的方法可进一步分为只使用历史外生变量的方法如TimeXer、CrossLinear对应图1(b)以及同时使用历史与未来外生变量的方法如TiDE、TFT对应图1(c)。前者无法利用预测时点已经可知的未来协变量后者虽使用未来外生变量却没有显式发现并注入外生变量内部、外生与内生之间的相关关系仍存在建模缺口DAG正是补上这一缺口图1(d)。Q3作者是如何解决的问题定义记内生时序Xendo∈R^(N×T)为要预测的主要目标变量外生时序分为过去外生变量Xexo∈R^(D×T)与未来外生变量Yexo∈R^(D×F)其中D为外生变量数、T为历史步长、F为预测步长。目标是学习映射ŶendoFθ(Xendo,Xexo,Yexo)预测未来内生变量。结构总览DAG沿时间维与通道维各构建一个相关模块每个模块都由“相关发现”和“相关注入”两个子模块组成时间相关模块用Fθ1发现历史外生对未来外生的影响、再用Gθ2把该相关注入基于历史内生的预测通道相关模块用Fθ3发现历史外生对历史内生的影响、再用Gθ4把该相关注入基于未来外生的预测两路注入输出加权融合得到最终预测。图注DAG整体架构。(a)总览含时间相关模块Fθ1、Gθ2与通道相关模块Fθ3、Gθ4(b)时间相关模块(c)通道相关模块(c1)标准Transformer块Trmblock(c2)把学到的相关注入注意力的Correlation Trmblock(d)损失函数。时间相关模块相关发现发现子模块采用patch-wise表示把每条历史外生变量切成多个patch、每个patch经PatchEmbed投影成时间token式2随后用标准Transformer块以QS·Wq′、KS·Wk′、VS·Wv′计算注意力建模不同patch对未来外生变量的影响权重式3-4token经前馈层后展平投影预测未来外生变量Ŷexo式5并用Lt‖Yexo−Ŷexo‖₁作为时间相关损失式6。为增强鲁棒性DAG不直接把生成的注意力分数传给注入模块而是抽取生成该分数的多头自注意力中可学习的查询矩阵Wq′与键矩阵Wk′作为待注入的时间相关表示——参数比单一注意力图更稳定、更易迁移。时间相关模块相关注入注入子模块对历史内生变量同样做patch表示得到P式7再用Correlation Trmblock一方面用块内自身的Wq、Wk、Wv生成Q、K、V式9另一方面用发现模块传来的Wq′、Wk′生成Q′、K′式8两套注意力分数经缩放softmax后由可学习权重α融合为Sfusedα·σ(QKᵀ/√d)(1−α)·σ(Q′K′ᵀ/√d)式10再与V相乘式11从而把时间相关结构显式注入注意力最后预测未来内生变量Ÿendo式13。门控机制式12以历史外生Xexo和历史内生Xendo为输入分别经两个MLP编码为非线性表示再做点积得到标量权重αMLP(Xexo)ᵀ·MLP(Xendo)据此根据历史外生与内生之间的实际影响强度自适应组合两套注意力提升建模精度与鲁棒性。通道相关模块相关发现通道发现子模块采用series-wise表示用series embedding把每条历史外生变量沿时间编码成一个整序列token式14经标准Trmblock自注意力式15-16后通过投影层预测历史内生变量X̂endo式17并以Lc‖Xendo−X̂endo‖₁作为通道相关损失式18同样抽取注意力的Wq′、Wk′作为待注入的通道相关表示。通道相关模块相关注入通道注入子模块用相同的series embedding编码未来外生变量Yexo式19在Correlation Trmblock中分别用自身参数生成Q、K、V式21、用发现模块参数生成Q′、K′式20门控权重由历史外生与未来外生经两个MLP点积得到αMLP(Xexo)ᵀ·MLP(Yexo)式22融合两套注意力式23-24最终预测未来内生变量Ẏendo式25。损失函数与输出融合最终预测由两路注入输出加权融合Ŷendoλ1·Ÿendo(1−λ1)·Ẏendo式26预测损失Lf‖Yendo−Ŷendo‖₁式27总损失LtotalLfλ2·(LtLc)式28λ2用于平衡相关建模的贡献三损失端到端联合优化。未来外生变量缺失时的实用化处理考虑到并非所有数据集都能获得未来外生变量推理时DAG直接用Fθ1预测出的Ŷexo代替真实Yexo送入Gθ4来预测内生变量从而规避未来外生不可得的问题这一设计使同一模型在有无未来外生两种场景下都可工作。Q4实验效果如何数据集、基线与实现实验在两类数据上进行①12个满足TSF-X条件的真实数据集包括5个EPF电力价格数据集NP、PJM、BE、FR、DE和7个作者自采数据集Energy、Colbún、Rapel、Sdwpfm1、Sdwpfm2、Sdwpfh1、Sdwpfh2其未来外生变量近似已知或高度准确②8个常用多变量数据集ETT四个子集、Weather、Exchange、Electricity、Traffic这些数据未来外生未知按TimeXer、CrossLinear的做法把多变量最后一维当作内生、其余维当作外生。图注数据集统计。#Num为变量数另给出外生/内生变量描述、采样频率、序列长度与训练/验证/测试划分比例。基线共9个原生支持未来外生变量的GCGNet、TimeXer、TFT、TiDE原本不支持的DUET、CrossLinear、Amplifier、TimeKAN、PatchTST对后者用MLP融合方式适配未来外生变量附录Algorithm 1。指标为MSE与MAE基于TFB代码库、遵循其评测协议且不使用drop-last长预测96步用180步预训练、短预测30步用30步预训练。主结果TSF-X设置图注12个TSF-X数据集上的平均结果输入为Xendo、Xexo、Yexo红色最佳、蓝色次佳。DAG在NP0.362/0.344、PJM0.093/0.180、BE0.423/0.279、FR0.414/0.219、DE0.370/0.370、Energy0.124/0.267、Colbún0.098/0.154、Rapel0.230/0.305等多数数据集领先1st Count为MSE 10、MAE 11。图注12个TSF-X数据集的完整结果按两个预测时长如EPF与Energy为24/360、Colbún与Rapel为10/30分别给出并附两行平均AvgDAG的1st Count为MSE 23、MAE 27。主结果有两点结论①相比各种结构的预测器DAG取得最多第一MSE 10个、MAE 11个明显优于TimeXer、TFT②原生支持未来外生变量的方法TFT、TimeXer等普遍优于不支持的方法PatchTST、DLinear即使后者经MLP融合增强也是如此DAG在利用外生输入的同时显式建模相关关系从而在几乎所有指标上反超这些强基线。分析一不使用未来外生变量图注只用历史外生变量、不含未来外生变量时的平均结果输入为Xendo、XexoDAG在NP0.419/0.380、PJM0.126/0.210、Energy0.150/0.300等数据集仍表现优秀而通道独立的PatchTST整体偏差。图注12个数据集在无未来外生设置下的完整结果DAG的1st Count为MSE 25、MAE 16。结果表明TimeXer、CrossLinear等重视历史外生建模的方法以及灵活建模通道关系的DUET表现较好通道独立的PatchTST较差。分析二8个常用多变量数据集图注8个常用数据集在无未来外生设置下的完整结果预测时长96/192/336/720DAG的1st Count为MSE 35、MAE 27在Weather等数据集上DAG与各基线数值非常接近、竞争激烈。图注8个常用数据集在TSF-X设置把最后一维当内生、其余当外生下的完整结果DAG的1st Count为MSE 28、MAE 28整体保持最强竞争力。分析三参数敏感性图注主要超参数的敏感性。(a)融合权重λ1与(b)相关权重λ2在0.3至0.7区间最优、模型在很宽范围内稳定(c)模型维度在64至256之间较好地平衡精度与复杂度(d)patch长度在8至32之间较优过短会引入噪声、过长会削弱局部依赖。分析四消融实验图注在Electricity、PJM、DE、Energy上的消融附平均。只用历史内生的Gθ20.453/0.443或只用未来外生的Gθ40.444/0.467都次优二者结合Gθ2Gθ40.273/0.345显著提升加入时间相关0.447/0.436或通道相关0.346/0.405均优于对应单输入版本完整DAG0.252/0.331最优。消融给出四点结论①只依赖单一输入源Gθ2或Gθ4不足以获得高质量预测②Gθ2与Gθ4结合显著提升、二者互补③时间相关模块与通道相关模块分别优于其单输入对照验证两类相关建模都有效④融合双相关的完整DAG表现最好说明对TSF-X建模双相关结构十分必要。分析五增大回看窗口图注Electricity预测F720与Energy预测F360上、回看窗口H取48/96/192/336/720时的MSE。DAG在两个数据集上一致优于TimeXer、DUET、CrossLinear、PatchTST且随回看窗口增大MSE持续下降说明其能够建模更长序列。分析六预测结果可视化图注NP数据集上、未来外生变量可用时6个模型的预测曲线。DAG子图a的预测红虚线在末端波动处最贴合GroundTruth蓝实线TimeXer、TFT、TiDE、DUET、CrossLinear均出现不同程度的相位或幅度偏差。图注NP数据集上、未来外生变量不可用时同样6个模型的预测曲线。DAG仍最贴近真实曲线表明其在时间维与通道维都有效发现并注入了相关关系、充分利用了外生变量。Q5有哪些可以继续探索的点1.从相关走向因果当前框架主要建模外生变量与内生变量之间的相关关系而非显式捕捉因果可引入因果发现技术进一步识别外生变量对内生变量的因果方向与因果强度2.更强的融合与交互机制门控目前采用两个MLP表示做点积这一较简单的交互方式虽在效率与算力间取得良好平衡却可能不足以刻画更复杂、更细粒度的变量交互可探索更先进的融合与交互机制3.自适应权重取代手动调参框架目前含多个需手动调节的权重系数包括三个损失的平衡以及两个预测输出的融合权重可发展自适应或全自动的加权策略减少调参成本4.扩展到更多外生模态可把文本事件、图像等更多类型的外生信息纳入同一相关发现—注入框架并研究相关表示在不同数据集、不同预测时长下的迁移规律。Q6总结DAG面向带外生变量的时序预测核心思路是沿时间维与通道维分别构建“相关发现相关注入”模块时间相关模块先刻画历史外生对未来外生的影响、再把该相关注入基于历史内生的预测通道相关模块先刻画历史外生对历史内生的影响、再用未来外生增强内生预测两路输出融合、三损失端到端优化。在未来外生缺失时模型还能用预测出的外生变量替代真实值保证实用性。在12个TSF-X真实数据集与8个常用多变量数据集上DAG取得最多的第一名次并在无未来外生、参数敏感性、消融、扩展回看与可视化等多组分析中一致占优验证了“显式发现并注入双相关关系”对充分利用外生变量、提升预测精度的关键作用。