简介这是一份面向时间序列预测研究者的GNNTransformer代码与数据资源适用于交通流量、网络流量等具有复杂时空依赖的预测场景解决单一模型难以同时捕捉空间与时间关联的问题。压缩包共2个文件含1个Python脚本和1个CSV数据集整体大小28.36MB脚本覆盖了从数据读取、图结构构建、GNN与Transformer联合训练到输出预测的完整流程CSV则提供了Abilene网络的OD对流量数据便于直接复现实验。已有267人学习浏览适合具备一定深度学习基础、希望快速上手时空预测模型的算法工程师或研究生。通过这份资源可以掌握图神经网络编码空间关系、Transformer建模长期时间依赖的完整实践并能将思路迁移到电网负荷、城市人流量等相似任务中。1. 时间序列预测用GNNTransformer为什么这个组合值得你上手时间序列预测在交通流、气象、能源负荷这些场景里从来不是只看时间维度就够的。一百个传感器测同一片城区相邻两个传感器读数强相关稍微远一点的可能完全独立——这种空间结构普通的LSTM和纯Transformer都看不见而GNN天生处理的就是图上的关系。把GNN和Transformer拼在一起做时间序列预测思路很直接GNN负责回答“哪些节点互相影响”Transformer负责回答“过去这段时间怎么演变”两者合并才把多元时间序列的时空信息都吃进去。这套思路适合手里有多个变量、多个传感器、多个站点且变量之间存在相关或拓扑关系的从业者单变量序列别硬上一个Transformer就够。2. GNN和Transformer的分工空间依赖交给图卷积时间依赖交给注意力要理解这个组合先得说清楚两个模型各自在多元时间序列里是干什么的。很多人把GNN和Transformer随便一拼结果模型跑出来的效果还不如单个LSTM根源就是分工没理清——GNN不是拿来提取特征的通用模块Transformer也不是越深越好。在多元时间序列里每一时刻的数据不是独立的不同变量之间存在横向的依赖关系。例如IoT场景里相邻传感器读数互相影响交通路网里上下游路口车流量联动。这类跨变量的依赖在数学上很适合用图来描述。而时间维度上的依赖——例如今天的早高峰模式和上周一的早高峰模式相似——适合用序列模型来描述。GNN和Transformer的组合本质是把这两个维度分开建模各管一摊。2.1 GNN在时序预测里的真实角色邻接矩阵从哪来GNN对时间序列做的事是“在节点之间做消息传递”。给定一个图结构和每个节点的特征GNN层对每个节点聚合其邻居的特征输出聚合后的表示。这个聚合操作本身不感知时间所以你需要在每个时间步上都做一次或者把时间步当作额外的batch维度让GNN参数在所有时间步上共享。这里马上就有一个问题多元时间序列的图从哪来。没有现成的图结构就需要自己构建。常见做法有三种。第一种是距离阈值法传感器场景最常用。知道每个节点的经纬度或地理位置计算两两距离小于某个阈值ε就认为有边。这是最符合物理直觉的做法缺点是阈值需要调而且只适用于有地理坐标的场景。第二种是统计相关性法不知道坐标时用。对每个节点的整段序列做Pearson或Spearman相关分析得到一个[N, N]的相关矩阵再设阈值把相关性大于某个值的节点连边。操作简单缺点是相关性本身会随时间漂移用整段序列算出来的图是“平均图”掩盖了动态变化。第三种是让图结构可学习。把邻接矩阵当作可训练参数和模型一起反向传播优化比如Graph WaveNet里的自适应邻接矩阵。这最灵活但训练容易过拟合且可解释性差。我的经验是起步阶段先用距离阈值法或者相关性法把图定死拿到一个能跑的baseline再换可学习图看是否有提升。一上来就搞可学习图等于同时调模型和图两个黑匣子出问题很难定位。构建好邻接矩阵之后要记得加权、加自环并做对称归一化否则GNN在聚合时邻居多的节点特征会被过度平滑。2.2 Transformer在时序预测里的真实角色位置编码决定它能否记住先后顺序Transformer解决的是时间依赖的建模问题核心是自注意力机制序列中每个位置会去计算与其他所有位置的关联权重再做加权求和。好处是远距离依赖不会被“遗忘门”截断比RNN家族的建模范围大得多。这也是为什么transformer时序预测逐渐取代LSTM成为主流研究方向的原因之一。但Transformer有个先天的短板自注意力本身是置换等变的。把输入序列的顺序打乱输出结果完全一样。对时间序列来说“先后顺序”就是命根子所以必须往输入里加入位置信息。编码位置的方式有三种。三角位置编码是NLP里常见的原创做法用正弦余弦函数构造好处是能外推到训练时没见过的长度。第二种是可学习位置编码把位置编码当成一个[L_max, d_model]的可训练参数模型自己学怎么表达位置。第三种是最新研究中比较爱用的时间戳嵌入不仅把第i个位置的序号编码进去还把这条样本对应的实际时间特征星期几、几点、是否节假日作为额外特征喂进去。对于固定的、等间隔采样的传感器数据可学习位置编码通常已经够用。对于时间间隔不均匀、或有强周期性的场景建议做时间戳嵌入。我见过有人直接把原始时间戳数值当普通特征拼接进模型结果模型在训练集上拟合得很好、验证集一塌糊涂——因为时间戳数值范围太大模型分配了太多容量去记忆绝对时间而不是周期性规律。2.3 三种主流拼接方式串行、并行和交替把GNN和Transformer拼起来常见有三种结构。拼接方式结构优点缺点适用场景串行GNN → Transformer边界清晰易调试空间信息可能被时间注意力冲淡数据量几千样本起步首选并行GNN分支 Transformer分支 → concat空间、时间特征独立分支易失衡训练不稳定确认两种信息都强有用时交替堆叠GNN层与Transformer层交替表达能力最强训练难易过拟合样本过万且算力充足第一种是串行也是最让我省心的结构先做一层或两层GNN在节点维度交换空间信息然后把结果展平成每个时间步的向量送进TransformerEncoder最后取最后一个时间步的隐状态接全连接输出。这种结构的好处是每个模块的输入输出边界清晰任一模块出问题都能单独调试。第二种是并行一个分支走GNN另一个分支走Transformer两个分支的特征在最后拼接。适用场景是你怀疑空间和时间信息需要各自保持独立但代价是计算量翻倍而且训练初期两个分支很容易失衡——一个分支loss降得快另一个梯度消失。第三种是交替堆叠GNN层和Transformer层交替出现类似STSGCN的做法每一层先聚合空间再做时间注意力。这种结构表达能力最强但训练难度也最高容易出现梯度消失或者在浅层就过拟合。经验是数据量在几千个样本级别时用串行最稳数据量过万且算力充足再试交替堆叠。对大多数落地场景我的选择是串行GNN两层Transformer两层中间一层线性投影做维度匹配。别堆太深时序预测任务的Transformer超过4层之后收益递减代价却指数上升。3. 最小可复现工程用PyTorch搭一个能跑的GNNTransformer时序预测模型这一章给一份完整可复现的代码骨架。数据用[节点数, 总时间步]的矩阵形式例如METR-LA的原始格式就是[207, 34272]。目标是用过去12个时间步预测未来6个时间步这是交通流预测的标准设置。3.1 数据准备按时间顺序滑窗归一化只用训练段先写数据切分函数。特别注意时间序列样本之间不能做随机打散只能按照时间顺序滑窗。每个样本本身包含一个窗口的历史和一个未来的目标这两个区间内部顺序固定不同样本之间可以打乱batch内的先后顺序。import numpy as np import torch def make_samples(data, window_size12, horizon6): 把 [N, T] 的多元时间序列切成监督学习样本。 data: [节点数, 总时间步] 返回 x: [样本数, N, window_size] y: [样本数, N, horizon] N, T data.shape x_list, y_list [], [] for t in range(T - window_size - horizon 1): # 取 t ~ twindow-1 作为输入twindow ~ twindowhorizon-1 作为目标 x_list.append(data[:, t:twindow_size].T) # [window, N] y_list.append(data[:, twindow_size:twindow_sizehorizon].T) # [horizon, N] x np.stack(x_list).transpose(0, 2, 1) # [样本, N, window] y np.stack(y_list).transpose(0, 2, 1) # [样本, N, horizon] return torch.FloatTensor(x), torch.FloatTensor(y)逻辑说明外层循环的步长是1意味着相邻样本之间只差一个时间步这会让样本高度重叠适合数据量较小时做数据增强如果显存吃紧可以改成步长为window_size的减采样样本量会减少大约一个数量级。transpose操作把每个样本的维度从[window, N]调回[N, window]与模型的输入格式对齐。这里不用pandas原始矩阵就是最方便的数据载体。归一化必须在切分之前只对训练段统计参数否则验证集和测试集的信息会泄漏进训练过程。做法是先把原始数组按时间切开再计算mean和stdsplit int(data.shape[1] * 0.8) train_raw data[:, :split] mean train_raw.mean(axis1, keepdimsTrue) std train_raw.std(axis1, keepdimsTrue) 1e-8 data_norm (data - mean) / std x_all, y_all make_samples(data_norm) train_size int(len(x_all) * 0.8) x_train, y_train x_all[:train_size], y_all[:train_size] x_val, y_val x_all[train_size:], y_all[train_size:]这里用训练段统计的mean/std归一化整条序列避免了未来数据参与归一化的问题。注意第1维是节点方向所以要keepdimsTrue并沿axis1计算让每个节点有自己的均值方差如果所有节点混在一起算一个全局scaler数值差异大的节点会压制其他节点。3.2 构建邻接矩阵相关性与距离阈值两种方式图结构决定GNN聚合哪些邻居。没有真实道路拓扑时相关矩阵加阈值是最快的做法def build_corr_adj(x_train, threshold0.6): 用训练段数据计算节点间Pearson相关超过阈值就建边。 x_train: [N, T] 返回对称归一化后的邻接矩阵 [N, N] corr np.corrcoef(x_train) adj (np.abs(corr) threshold).astype(np.float32) adj adj np.eye(adj.shape[0]) # 加自环让GNN保留自身特征 d adj.sum(axis1) d_inv_sqrt np.power(d 1e-8, -0.5) adj_norm adj * d_inv_sqrt[:, None] * d_inv_sqrt[None, :] # 对称归一化 return torch.FloatTensor(adj_norm)参数说明threshold0.6是经验起点交通数据通常能留下5%~20%的边如果节点数量在100以上建议先打印corr矩阵的分布看中位数和分位数再决定阈值。加自环那一步很关键去掉的话GNN聚合后自身节点特征会被稀释。对称归一化用的是D^{-1/2}AD^{-1/2}这是GCN标准做法能让聚合结果不受节点度影响。如果传感器有坐标用距离矩阵构建图时阈值设成传感器平均间距的1.5~2倍效果往往比相关性图更稳因为相关性易受异常时段影响。3.3 GNN编码器共享权重的两层邻域聚合GNN对时间序列的处理方式是在每个时间步上做聚合。为了让特征张量在[batch, 节点, 窗口, 特征]的维度下工作我把时间步折叠进batch维度做完图卷积再恢复class GNNEncoder(nn.Module): 两层共享权重的图卷积编码器。 输入 x: [B, N, T, F] 输出 h: [B, N, T, H] def __init__(self, in_dim, hidden_dim): super().__init__() self.lin1 nn.Linear(in_dim, hidden_dim) self.lin2 nn.Linear(hidden_dim, hidden_dim) def forward(self, x, adj): B, N, T, F x.shape # 把时间维度并入batch让图卷积在所有时间步共享参数 h x.permute(0, 2, 1, 3).reshape(B * T, N, F) # adj已加自环所以聚合结果里包含自身特征 h_neigh torch.bmm(adj.unsqueeze(0).expand(B * T, -1, -1), h) h torch.relu(self.lin1(h_neigh)) h_neigh torch.bmm(adj.unsqueeze(0).expand(B * T, -1, -1), h) h torch.relu(self.lin2(h_neigh)) return h.reshape(B, T, N, -1).permute(0, 2, 1, 3)逻辑说明permute和reshape把[B, N, T, F]换成[BT, N, F]adj则expand成[BT, N, N]用torch.bmm做批量矩阵乘法一步算出所有节点在所有时间步上的邻居聚合结果。这样写比for循环快得多。由于邻接矩阵在进入模型前已经加过自环并做了对称归一化聚合结果天然包含自身特征不需要额外拆两条路径。3.4 Transformer时间编码器可学习位置编码加多头注意力class TimeTransformer(nn.Module): 对时间步维度做自注意力编码。 输入 x: [B, T, D] 输出 h: [B, T, D] def __init__(self, d_model64, nhead4, num_layers2, max_len64): super().__init__() self.pos_embed nn.Parameter(torch.randn(1, max_len, d_model) * 0.1) layer nn.TransformerEncoderLayer( d_modeld_model, nheadnhead, dim_feedforwardd_model * 4, dropout0.1, activationgelu, batch_firstTrue ) self.encoder nn.TransformerEncoder(layer, num_layersnum_layers) def forward(self, x): T x.size(1) x x self.pos_embed[:, :T, :] return self.encoder(x)参数说明可学习位置编码初始化为正态分布乘以0.1避免一开始位置信号压过数据信号。batch_firstTrue是PyTorch TransformerEncoderLayer的关键参数不设置的话输入要变成[T, B, D]很容易搞混。dim_feedforward默认是2048在小数据集上会严重过拟合我把d_model64时设置成256控制在四倍左右。dropout0.1对时序预测是合理起点。3.5 整体模型与维度链路class GNNTransformer(nn.Module): 串行结构GNN编码空间 - 线性投影 - Transformer编码时间 - 全连接输出 def __init__(self, num_nodes, adj, window_size12, horizon6, in_dim1, hidden_dim32, d_model64, nhead4, num_layers2): super().__init__() self.register_buffer(adj, adj) self.num_nodes num_nodes self.horizon horizon self.hidden_dim hidden_dim self.embed nn.Linear(in_dim, hidden_dim) self.gnn GNNEncoder(hidden_dim, hidden_dim) self.proj nn.Linear(hidden_dim * num_nodes, d_model) self.transformer TimeTransformer(d_model, nhead, num_layers) self.head nn.Linear(d_model, horizon * num_nodes) def forward(self, x): # x: [B, N, window] B, N, W x.shape x x.unsqueeze(-1) # [B, N, W, 1] h self.embed(x) # [B, N, W, H] h self.gnn(h, self.adj) # [B, N, W, H] h h.permute(0, 2, 1, 3).reshape(B, W, -1) # [B, W, N*H] h self.proj(h) # [B, W, D] h self.transformer(h) # [B, W, D] h h[:, -1, :] # 取最后时间步 [B, D] out self.head(h).view(B, self.horizon, self.num_nodes) return out.permute(0, 2, 1) # [B, N, horizon]维度链路是输入[B, N, W] → 升维[B, N, W, 1] → 嵌入到[B, N, W, hidden] → GNN输出不变 → 把N和hidden合并成[B, W, N*hidden] → 投影到[B, W, d_model] → Transformer输出[B, W, d_model] → 取第W-1个时间步 → 全连接输出[B, horizon, N] → 换轴成[B, N, horizon]。这个换轴非常重要因为loss是按节点算的如果输出维度是[B, horizon, N]而标签是[B, N, horizon]MSE算出来的对应关系全错。我早期就翻过这个车loss死活降不下去打印shape才发现轴反了。3.6 训练循环OneCycle学习率加梯度裁剪def train_model(model, x_train, y_train, x_val, y_val, epochs60, batch_size32): optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-5) steps_per_epoch (len(x_train) batch_size - 1) // batch_size scheduler torch.optim.lr_scheduler.OneCycleLR( optimizer, max_lr1e-3, total_stepssteps_per_epoch * epochs, pct_start0.2 ) loss_fn nn.MSELoss() for epoch in range(epochs): model.train() perm torch.randperm(len(x_train)) epoch_loss 0.0 for i in range(0, len(x_train), batch_size): idx perm[i:ibatch_size] optimizer.zero_grad() pred model(x_train[idx]) loss loss_fn(pred, y_train[idx]) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step() scheduler.step() epoch_loss loss.item() model.eval() with torch.no_grad(): val_loss loss_fn(model(x_val), y_val).item() if epoch % 5 0 or epoch epochs - 1: print(fepoch {epoch:3d} train_loss{epoch_loss/steps_per_epoch:.6f} val_loss{val_loss:.6f})参数说明randperm只打乱样本间的顺序样本内部的时间顺序是固定的因此不破坏时序约束。OneCycleLR先升后降的学习率策略对Transformer特别友好——Transformer收敛对学习率峰值敏感上来就用固定学习率很容易在前几个step就发散。clip_grad_norm_设5.0是兜底防止GNN加Transformer叠加之后的梯度爆炸把loss打成NaN。这里用AdamW而不是Adam因为配合weight_decay1e-5能稍微压住过拟合。如果验证集loss连续10个epoch不降就减少epochs或增大dropout不要硬跑。4. 参数与数据集取舍四个直接影响结果的旋钮模型能跑通只是第一步要让结果能看参数选择比模型架构更影响最终效果。这一章把最关键的几个旋钮讲透。4.1 邻接矩阵阈值图太稠密等于没图无论用相关性还是距离阈值都是第一个要调的参数。阈值设太高图被切得七零八落很多节点变成孤岛GNN在这几个节点上退化成MLP——每个节点只看自己等于白做了邻居聚合。阈值设太低图几乎全连接GNN的聚合结果变成全节点特征的均值空间信息被抹平。判断阈值是否合适我一般看两个指标。一是平均度数即每个节点的平均邻居数对100个节点的数据集平均度数在3~15之间比较健康低于3说明图太稀疏高于15说明太密。二是孤立节点数量如果有超过5%的节点完全没有边说明阈值偏高。边界情况如果数据来自不同城市或不同量纲的传感器直接算相关性会失真。先按节点做z-score归一化再算相关矩阵阈值可以放低到0.4~0.5。距离阈值则受坐标尺度影响有的传感器坐标是经纬度有的是投影坐标千米级先打印距离矩阵的直方图取p50~p80分位作为起点最稳。4.2 回看窗口与预测步长的匹配窗口至少要覆盖一个周期window_size直接决定了Transformer能看到多长的历史。经验法则窗口长度至少要覆盖数据的一个完整周期。5分钟采样的交通数据早高峰周期是24小时288个采样点窗口设到12或24其实只覆盖了1~2小时模型学到的是“最近一小时的趋势外推”对跨周期模式无能为力。但窗口拉长会带来两个代价样本数量减少每个样本消耗windowhorizon个时间步以及自注意力计算量随窗口长度平方增长。折中办法是先用短窗口跑通基线记录验证集loss再把窗口翻一倍预期涨5%~15%的精度同时训练时间可能涨到2~4倍。如果翻倍后精度几乎不动说明模型容量不够应该先加d_model或nhead。预测步长horizon越长输出端全连接层的参数越多过拟合风险越高horizon从6涨到24时建议在head层加一层中间Linear降维。4.3 学习率策略为什么固定学习率对Transformer会翻车Transformer的自注意力对学习率极其敏感。学习率稍高attention分数在softmax之后迅速熵值化所有位置权重趋同模型退化成一个均值滤波器学习率稍低训练几百个epoch loss缓慢下降白烧卡。我常用的稳定配置是AdamW加OneCycleLR先把学习率从0.1倍max_lr在20%的step内warmup到max_lr1e-3再余弦退火到接近0。pct_start0.2这个比例在时序任务上表现稳定。如果在验证集上观察到训练前期loss小抖动但整体下降可以考虑把max_lr降到5e-4如果训练稳定但收敛太慢把max_lr升到2e-3同时batch_size同步加大到64。4.4 公开数据集怎么选METR-LA、PEMS-BAY和ETT各踩各的坑入门时推荐用METR-LA207个节点、34272个时间步5分钟采样数据规模适中一小时内能跑完一轮实验而且社区里已经有大量baseline可以对齐数值。PEMS-BAY是325个节点结构差不多数据更干净适合作为第二个验证集。ETT系列是电力变压器负荷如果是纯时间序列建模可以先在ETT上验证Transformer部分再切到METR-LA验证GNN部分。一个容易忽略的坑是数据缺失和异常值。METR-LA原始数据有缺失不同预处理版本用的插值方法不同导致模型对比时出现几个点的指标差异。建议固定使用DCRNN那套预处理线性插值补缺失、按5分钟聚合、用z-score归一化——这已经成了交通流预测社区的默认基准。不要自己发明预处理流程否则你跑的baseline和论文对不上说不清是模型好还是预处理好。5. 避坑与排查六个把头发熬白了才想明白的坑写这一章的动机很直白这些坑每个我都踩过而且每个的报错或者现象都极具迷惑性。按“现象→原因→解决”的格式记录方便照着排查。5.1 归一化泄漏验证集指标好得离谱一上线就翻车现象训练集loss正常下降验证集loss在训练初期就低到0.01以下比所有论文报告的结果都好自信心爆棚结果模型部署到实时数据上预测值和真实值差了一个数量级。原因建模时把整段数据都做了归一化再切训练集和验证集。scaler的mean和std是用全量数据算的验证集的分布信息已经混进了训练过程。模型实际上“见过”验证集的数据形态指标当然好看但真实数据是模型没见过的分布。解决严格按照先切分、后fit的顺序。数据加载后用train段算mean和std再用同一套参数归一化整个数据集。推理时也要记住用训练时的scaler参数不能在预测时用最新一批数据的实时均值重新归一化否则输出的反归一化对不上。5.2 梯度爆炸loss直接变成NaN现象训练刚开始几个steploss正常下降突然某一步loss变成nan之后再也回不来。用CPU跑的时候会报“RuntimeError: value cannot be converted to type float”之类的错误。原因GNN在做torch.bmm时如果邻接矩阵里出现了inf或NaN阈值筛选后某两列完全线性相关导致的数值不稳定会把错误特征传播到所有邻居节点另一个更常见的原因是TransformerEncoderLayer内部没有做梯度裁剪序列长时attention分数过大反向传播的梯度范数爆炸。解决最先检查邻接矩阵是否干净打印adj.sum(axis1)看看有没有nan然后给训练循环加torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0)最后给head层输出的数值做一次clamp或改用HuberLoss它对异常值的梯度有截断不会像MSE那样被一个极端样本带偏。5.3 静态图处理动态关系拓扑漂移时模型失效现象模型的图结构是从训练段数据算出来的一个固定邻接矩阵跑验证集整体不错但在某些时间段误差突然暴涨。比如早高峰时相邻传感器的相关性很强深夜几乎所有传感器独立固定图却在全时段使用同样的聚合权重。原因用训练段全量数据算出来的图是一个“平均图”丢失了时间维度的动态性。交通流、气象这类受时间影响的场景节点间关系不是恒定的。解决三种办法从易到难。最简单是分时段建图把一天按时间段切成几段分别算图模型在对应时段用对应图中等做法是让邻接矩阵可学习用反向传播更新最复杂的是动态图模型每个时间步重新用注意力机制算图权重但这等价于再做一层空间注意力参数量大样本少时容易过拟合。我的建议是先用分时段静态图模型结构不用动效果提升立竿见影。5.4 位置编码失效采样时间不均匀现象用可学习位置编码在等间隔采样数据上效果很好换到日志型数据或时间间隔不稳定的序列位置编码完全不起作用模型无法区分“上一秒”和“一小时前”这两个位置。原因可学习位置编码只在训练时见到的位置范围内有效而且它默认位置是等距的。对时间间隔不均匀的序列位置编码的数字索引和真实时间差脱节模型无法感知真实的时间流逝。解决改用时间戳嵌入把每个样本对应的实际时间特征小时、星期、月份编码成向量拼接进输入而不是用整数的位置索引。如果必须用位置编码用三角位置编码并用真实时间差缩放的索引值替代整数索引pos cumsum(时间间隔)。这个改动在异步采样的传感器数据上通常能带来明显提升。5.5 显存不足窗口一长就OOM现象window_size从12加到48batch_size32时显卡直接OutOfMemory。用小batch_size又训不收敛。原因TransformerEncoder的显存占用是O(T²)级别T翻4倍attention矩阵占内存翻16倍。batch_size和window_size的乘积一旦超过显卡容量阈值必然OOM。解决先降batch_size到8甚至4配合warmup学习率通常能保持收敛如果还想加窗口改用gradient accumulation——每个batch的前向反向照做但先不更新参数攒够几个batch再optimizer.step()效果等同大batch。也可以用FlashAttention这类线性注意力变体但改模型结构的工作量大起步阶段不推荐。5.6 随机种子同一份代码跑两次结果差10%现象同一份训练代码不同时间运行验证集指标波动5%~10%有时候A方案比B方案好、B方案跑第二遍又比A方案好。原因PyTorch默认随机初始化DataLoader的worker顺序、GPU上的非确定性算法都会带来随机性。模型初始化的随机性在Transformer里尤其明显——注意力权重初值不同收敛到的局部最优就不同。解决把所有能设的种子都设一遍并在训练循环里设置torch.use_deterministic_algorithms(True)注意这会降低训练速度。一个更实用的习惯是多跑几次取平均对不同随机种子做3~5次重复实验报告均值±标准差。调参时用固定种子快速对比定稿后再换3个种子跑稳定性验证这个习惯能避免被随机性误导。6. 进阶验证消融实验与注意力可视化判断模型到底学没学到东西模型能跑、指标不出错只能说明代码没bug。要判断GNN和Transformer各出了多大力必须做消融实验。设计三组对照足矣把GNN层去掉只用Transformer、把Transformer去掉只用GNN后直接全连接、用一个只用MLP的纯基线对比完整模型的验证集MSE。如果去掉GNN后指标掉得明显说明空间聚合有效如果去掉Transformer后指标掉得明显说明时间依赖建模有效如果两者都没掉说明这个数据集的时空信息其实不强模型的复杂度没必要。消融实验遵循一个原则只删模块不动超参和训练配置。有人做消融时顺手把学习率调了结果指标下降却说不清是模块的作用还是调参的作用。正确的做法是除了模型结构以外batch_size、学习率策略、训练epoch数全部保持一致。我在项目里会把结果记成一张简单的两行三列表格第一行是模型配置第二行是验证集MSE存档备查。注意力可视化是更直观的验证手段。取一条验证样本把Transformer某一层的attention weights导出来画成热力图能直接看到模型在预测第t步时注意力是集中在最近几个时间步还是均匀地铺在所有位置上。均匀分布说明位置编码没有生效或序列信号太弱模型在学习“平均”而不是“动态”。操作方法在TimeTransformer的forward里把self_attn返回的attention权重存下来取多头的平均值然后用matplotlib画一个[T, T]矩阵即可不需要引入额外库。GNN的验证则关注邻居聚合的收益。如果是静态图把某个节点的边全部置0看验证集loss是否大幅上升如果几乎没有影响说明该节点的历史值本身足够预测邻居没提供增量信息。如果是可学习图检查训练完成后图权重的分布如果整体接近0说明空间交互不重要可以考虑把模型退化回纯Transformer。我自己的习惯是每调完一版模型固定把消融实验的结果连同训练曲线和注意力热力图一起存档。这样即便一个月后回头看旧模型也能一眼看出它当时的强项和弱项而不是靠记忆猜。这个习惯帮我避开了好多次改结构后“变差了但不知道为什么”的尴尬。希望这些实际踩坑经验能帮到你让你在时间序列预测这条路上少走几步弯路模型一跑就顺。本文还有配套的精品资源点击获取