简介面向电气领域时间序列预测任务的深度学习项目资源包以CNN-GRU-Attention混合模型为核心适用于电力负荷预测、设备状态识别、故障趋势分析等场景也适合算法对比和科研复现。压缩包共8个文件主要包含Python训练脚本、CSV格式样例数据集、依赖包版本清单和说明文档整体仅1.24MB轻量便携便于快速部署和对照学习。目前已有109人学习资源覆盖数据预处理、特征提取、模型定义、训练评估、结果可视化等关键环节能够帮助使用者在本地完整复现CNN-GRU-Attention的算法流程。借助该资源可深入理解注意力和门控机制在电气时序建模中的作用通过注意力权重定位模型重点关注的输入特征同时依赖清单可大幅降低环境配置排错成本。无论是用于课程设计还是工程验证都能提供一条可运行的实践线索。1. 拆开“051cnn-gru-attention”这个包电气预测场景下它的价值在哪手里有一台空压机或一条生产线的负荷曲线想提前一小时或者提前一天知道它会不会冲高这种问题用 ARIMA 很难应付因为电气负荷大多是非线性、带周期和随机冲击的。cnn-gru-attention 是近几年做时序预测最常用的混合结构之一CNN 负责把局部波形特征抽出来GRU 负责记住一段时间内的变化规律Attention 把“哪一段历史最值得参考”显式地建模出来。这类压缩包解压后常见的样子是一套可执行的 Python 训练脚本加预测脚本适合已经会一点 Python、手里有历史数据、但还没搭过深度学习预测流程的电气、设备、能源方向从业者。它不帮你解决“数据没采集”的问题解决的是有了数据之后怎么把预测模型跑起来并且调得基本可信。下面就从模型结构讲起再给你一套可以直接抄的落地代码和调参记录。2. 模型结构拆解CNN、GRU、Attention 各自在预测里承担什么2.1 CNN 在时序里不是做视觉而是顺着时间轴找局部形态提到卷积大部分材料都在讲图像。但在这里CNN 的输入不是二维像素而是一维时间序列。以一天 96 个点15 分钟粒度的负荷曲线为例一个宽度为 7 的卷积核每次扫过连续的 7 个时间点把这 7 步里出现的上升、下降、尖峰、平台映射成一个特征值。滑动到整条序列结尾得到的特征图就近似于“这条曲线在不同位置的形态响应”。有人会问负荷预测直接扔给 GRU 不行吗技术上可以但没有 CNN 的 GRU 会花更多参数去学习那些本可以提前抽取的局部模式。CNN 相当于先做了一次有监督的特征提取把“局部形态”压缩成更高层的表示GRU 再在这些表示上找跨时间的依赖。一个常见误解是把卷积核数量调得非常大以为特征越多越好。实际上几万条数据规模下第一层 32 到 64 个卷积核已经足够再用池化把时间步减半重点保留“是否出现”而不是“精确出现在哪个位置”抗噪声能力反而更好。这一层最容易踩的坑是 padding 和 pooling 搭配不当。paddingvalid 会让输出长度逐步缩短如果后面再叠多个卷积层等进入 GRU 时时间步数可能只剩原来的四分之一甚至更少。模板里我一般建议第一层用 paddingsame 把长度保住再靠 MaxPooling 主动降采样。核宽度也要看业务想抓 15 分钟级别的短时冲击kernel_size3 到 5 就够想抓“早晚各有一个波峰”这种形态规律kernel_size7 到 16 更容易看到完整段曲线而不是只看一个零头。import tensorflow as tf from tensorflow.keras import layers # 最小值可运行示例只展示 CNN 段的结构 inputs tf.keras.Input(shape(672, 1)) x layers.Conv1D(filters64, kernel_size7, paddingsame, activationrelu)(inputs) x layers.MaxPooling1D(pool_size2)(x) print(x.shape) # (None, 336, 64)窗口步长从 672 减半这段代码的价值在于提前确认 CNN 输出形状一天 96 点、一周 672 点经过一层池化后变 336 步两层后变 168 步。GRU 只看这 168 个压缩后的特征步而不是原始 672 步所以降采样比例需要和业务记忆跨度一起考虑。2.2 GRU 用两个门就够比 LSTM 省参数比 RNN 记得久GRU 的核心是两个门重置门和更新门。重置门控制“看到新数据时要不要把旧记忆清空重来”更新门控制“新信息有多少比例写进当前记忆”。相比 LSTM 的输入门、遗忘门、输出门三件套GRU 少了一个门参数数量大约少四分之一到三分之一。在几万条数据级的时间序列任务里GRU 收敛更快效果通常也不比 LSTM 差。电气负荷最典型的时间依赖是“昨天同一时刻的负荷”和“前几个小时的变化趋势”跨度以小时到天为单位不需要无限长记忆GRU 的结构正好覆盖这个范围。这一点和量化交易里预测资产收益率很像模型依赖的是最近一段窗口内的市场状态而不是十年前的历史。回到电气场景如果今天 9 点的负荷异常高原因很可能是 8 点半开启了大功率设备GRU 的更新门能把这类“半小时前的状态”逐步写进隐藏状态。实际搭建时有两个注意点。第一GRU 的 return_sequences 必须为 True否则输出只剩最后一个时间步Attention 层拿不到全部步的隐藏状态这个模型就退化成“只看尾巴”。第二GRU 单元数不用无脑加负荷预测这种单变量序列64 到 128 个单元已经能容纳足够的信息再往上加只是增加过拟合风险。2.3 Attention 的作用给每个历史时间步“打分数”GRU 可以返回最后一步的状态也可以返回全部时间步的隐藏状态。只取最后一步等于假设最后时刻已经包含所有信息把全部时间步压平再送进全连接层又会把无关噪声一起带进去。Attention 的做法是先对每个时间步算一个分数经过 softmax 变成权重再对所有时间步的隐藏状态做加权求和得到一个上下文向量。这个机制对负荷预测特别有价值。负荷突变往往与几小时前的启停机事件相关模型如果能自动把注意力集中在对应时间段预测精度和可解释性都会提升。工程上 Attention 权重可以直接打出来当调试信息用预测偏得离谱时看模型是不是把大量权重放在了一段异常工况上能省下不少瞎猜的时间。组件输入形状输出形状主要作用最容易踩的坑Conv1D(batch, window, features)(batch, steps, filters)提取局部波形特征padding 和 pooling 搭配不当时间步被压太短GRU(batch, steps, filters)(batch, steps, units)捕捉跨时间步依赖return_sequencesFalse 导致 Attention 拿不到全部时间步Attention(batch, steps, units)(batch, units)时间步加权求和自定义层保存模型时反序列化失败Attention 在数学上就是把 GRU 的每个时间步输出换成带权求和没有玄学成分。关键是权重从哪里来常见做法是用一个可训练矩阵 W 把每个时间步的隐藏状态映射成标量分数再在整个时间步维度做 softmax。本来可以直接借用 Keras 内置的 Attention 层但它需要外部传入 query 和 value 两个输入模板代码里很多人反而写不明白。下面这套自定义 AttentionLayer 是我比较常用的写法简单、可控后面预测时还能把权重单独导出来做原因分析。3. 跑通最小可用的 CNN-GRU-Attention 预测程序环境、代码、训练3.1 环境隔离与依赖安装先把 Python 环境装干净这类代码包最常见的坑不是模型跑不动而是依赖版本互相打架。TensorFlow、NumPy、Pandas 各自对 Python 版本有要求混装容易在 import 阶段就报错。网上不少 Python 入门教程教的是日常语法工程里其实只需要会用 venv、pd.read_csv、reshape 这几个动作就够了。先把环境隔离干净后面再配 vscode 或 pycharm 的解释器路径都会顺很多。python -m venv .venv source .venv/bin/activate # Windows 下用 .venv\Scripts\activate pip install numpy pandas matplotlib scikit-learn tensorflow安装完先做一次冒烟测试确认 TensorFlow 能正常导入python -c import tensorflow as tf; print(tf.__version__)如果是在内网离线环境提前用 pip download 把 wheel 包拖进局域网再用 pip install --no-index --find-links 安装。不要直接在跑程序的机器上现场编译源码包耗时且容易缺系统库。对 Python 版本不要追新TensorFlow 2.10 到 2.15 配 Python 3.8 到 3.10 是我常用的组合。装得太新有时反而会遇到与本地 CUDA 驱动不匹配的问题没有 GPU 也不要紧这种规模的数据在 CPU 上跑几十分钟也能出结果。3.2 读数据、构造滑动窗口归一化和时序切分的正确顺序先读 CSV。常见格式是两列time 和 loadtime 是时间戳load 是 15 分钟粒度或小时粒度的负荷值。索引列记得用 parse_dates 解析成时间类型不然后面画图时横轴会变成普通数字。为了不把测试集的统计信息教给模型必须先划分训练段再对训练段做 scaler.fit测试段只做 transform。另外测试窗口需要带上训练段尾巴上的 WINDOW 个点作为上下文这是预测时本来就有的历史信息不算数据泄漏。import numpy as np import pandas as pd from sklearn.preprocessing import MinMaxScaler df pd.read_csv(data/load.csv, parse_dates[time], index_coltime) series df[load].values.reshape(-1, 1) WINDOW 96 * 7 # 15 分钟一个点96 是一天窗口取一周 HORIZON 96 # 预测未来一天 train_len int(len(series) * 0.8) train_raw series[:train_len] test_raw series[train_len - WINDOW:] # 从训练段尾部开始切保留上下文 scaler MinMaxScaler(feature_range(0, 1)) scaler.fit(train_raw) train_scaled scaler.transform(train_raw) test_scaled scaler.transform(test_raw) def make_windows(data, window, horizon): X, y [], [] for i in range(len(data) - window - horizon 1): X.append(data[i:i window]) y.append(data[i window:i window horizon, 0]) return np.array(X), np.array(y) X_train, y_train make_windows(train_scaled, WINDOW, HORIZON) X_test, y_test make_windows(test_scaled, WINDOW, HORIZON) print(X_train.shape, y_train.shape, X_test.shape, y_test.shape)这段代码的关键点有两个。第一个是test_raw series[train_len - WINDOW:]它让测试集的第一条样本从训练段末尾开始滑窗这样模型预测第一天测试数据时能看到最近一周的历史第二个是 MinMaxScaler 只在训练段上 fit测试段的归一化完全复用训练段的参数避免把测试段的极大极小值泄露给模型。如果报 IndexError说明数据总量还不够一个窗口加预测步长需要换更长历史的数据。窗口生成方式这里用的是 Python 循环数据量几万条时完全够跑但如果你拿到的数据是秒级或分钟级、几十万条起步建议改用 tf.keras.utils.timeseries_dataset_from_array 或自己写生成器避免一次性把全部窗口装进内存。3.3 模型核心代码自定义 Attention 层的实现与形状推导模型结构按“卷积提特征、GRU 抓依赖、Attention 加权、全连接输出”的顺序搭。这里用自定义 AttentionLayer比内置 Attention 简单好处是输出可以由你控制后面想导出权重时一眼就能找到对应层。import tensorflow as tf from tensorflow.keras import layers, Model class AttentionLayer(layers.Layer): def __init__(self, **kwargs): super().__init__(**kwargs) def build(self, input_shape): self.W self.add_weight( nameatt_weight, shape(int(input_shape[-1]), 1), initializerglorot_uniform, trainableTrue, ) self.b self.add_weight( nameatt_bias, shape(int(input_shape[1]), 1), initializerzeros, trainableTrue, ) super().build(input_shape) def call(self, inputs): # inputs 形状: (batch, steps, units) score tf.matmul(tf.tanh(inputs), self.W) self.b # (batch, steps, 1) score tf.nn.softmax(score, axis1) context tf.reduce_sum(inputs * score, axis1) # (batch, units) return context def compute_output_shape(self, input_shape): return (input_shape[0], input_shape[2]) def build_cnn_gru_attention(window, horizon): inp layers.Input(shape(window, 1)) x layers.Conv1D(filters64, kernel_size7, paddingsame, activationrelu)(inp) x layers.MaxPooling1D(pool_size2)(x) x layers.Conv1D(filters32, kernel_size3, paddingsame, activationrelu)(x) x layers.MaxPooling1D(pool_size2)(x) x layers.Dropout(0.2)(x) x layers.GRU(units64, return_sequencesTrue)(x) x AttentionLayer()(x) out layers.Dense(horizon)(x) model Model(inp, out) return model model build_cnn_gru_attention(WINDOW, HORIZON) model.summary()形状变化是这么一路走过来的Input(672, 1) 进 Conv1D 后变成 (672, 64)MaxPooling 之后变成 (336, 64)第二层 Conv1D 输出 (336, 32)再池化变成 (168, 32)。GRU 保持时间步输出 (168, 64)。AttentionLayer 沿着时间步维度做加权求和压成 (batch, 64)最后 Dense 层输出 (batch, 96)。自定义层的实现里有三个参数要理解self.W 是把每个时间步的 64 维向量映射成一个分数self.b 是偏置softmax 在 axis1 上做也就是对所有时间步做归一化。这样每个样本都有自己的一条权重分布不是全局共享一套权重。Dropout 放在 GRU 之前主要是防止卷积层学到的特征在进循环网络之前就过拟合。3.4 训练回调、预测与反归一化跑通一次完整流程训练时我用三个回调早停防过拟合、学习率衰减帮助收敛、模型检查点保留最优权重。这里有个细节早停必须开 restore_best_weightsTrue否则返回的是最后一个 epoch 的权重遇到 loss 后期震荡时你拿到的模型可能比训练中途更差。model.compile( optimizertf.keras.optimizers.Adam(learning_rate1e-3), lossmse, metrics[mae], ) callbacks [ tf.keras.callbacks.EarlyStopping(patience20, restore_best_weightsTrue), tf.keras.callbacks.ReduceLROnPlateau(patience5, factor0.5, min_lr1e-6), tf.keras.callbacks.ModelCheckpoint(best_model.keras, save_best_onlyTrue), ] history model.fit( X_train, y_train, validation_split0.1, epochs200, batch_size32, callbackscallbacks, verbose1, )validation_split0.1 会自动在尾部切出 10% 做验证集这比随机打乱更适合时序数据。完整跑完后做预测然后逐列反归一化。这步很多人会直接scaler.inverse_transform(y_pred)但 y_pred 形状是 (样本数, 96)scaler 是按单列特征训练的这么干会直接报错。y_pred model.predict(X_test, verbose0) # 逐列反归一化避坑scaler 只认识单列特征 pred_inv np.column_stack([ scaler.inverse_transform(y_pred[:, i:i 1]).ravel() for i in range(HORIZON) ]) y_test_inv np.column_stack([ scaler.inverse_transform(y_test[:, i:i 1]).ravel() for i in range(HORIZON) ]) import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Arial Unicode MS] plt.plot(y_test_inv[0], label真实值) plt.plot(pred_inv[0], label预测值) plt.legend() plt.savefig(pred_compare.png, dpi150)如果你熟悉 Python 数据分析与可视化的流程可以把多个样本的预测误差画成热力图比单条曲线更能看出模型在哪个时段系统性偏高。模型保存成 .keras 格式后面加载时注意自定义层的问题具体在第 5 章会展开。4. 参数怎么设从窗口长度到学习率的四组关键配置4.1 窗口长度和预测步长要匹配业务周期调整参数之前先把随机种子固定不然每次跑出来的 loss 曲线都不一样你根本分不清是模型改动起作用还是运气起作用。import random random.seed(42) np.random.seed(42) tf.random.set_seed(42)窗口长度在单变量负荷预测里往往是最敏感的参数。它决定模型能看到多长的历史窗口太短模型没见过上一个完整周期窗口太长Attention 要把权重分散到大量无关时间步上有效信息被稀释。我习惯按一个到两个完整业务周期来起步。数据粒度推荐窗口预测步长适用场景15 分钟96 * 7 67296日周期负荷提前一天预测1 小时24 * 7 16824日周期能耗短周期设备1 分钟12010设备故障前预警类短时预测这里有一个经常被问到的误区滑动窗口之间大量重叠是不是等于把同一段数据反复喂给模型不是。每个窗口的输入虽然只有一半是新的但目标是错开的模型学的是“给定过去一周预测未来一天”这个映射关系而不是背样本。窗口重叠只会增加训练样本量不会造成训练集和测试集之间的信息穿越前提是你按时间顺序切分。4.2 CNN 卷积核和 GRU 单元的搭配数据量决定容量模型容量要和数据量匹配这是我在很多项目里反复验证过的原则。数据量不够却上大模型卷积层很快就记住了负荷波形里的噪声测试集上一塌糊涂。数据规模Conv1D 配置GRU units池化层数1 万条以内filters32, kernel_size33215 万条左右filters64, kernel_size764210 万条以上filters128, kernel_size71282 到 3小数据集用大卷积核效果往往好过叠两个小卷积因为参数量更少且更容易覆盖到完整波形段。5 万条起步时第一层 64 个卷积核、GRU 64 个单元已经能跑出不错的基线。数据量再大可以先把 GRU 单元翻倍卷积核翻倍每翻一次都要配合 Dropout 从 0.2 提到 0.3否则验证 loss 会先降后升。池化层数也要节制。两次池化把 672 步压到 168 步这是我能接受的底线如果池化三层变成 84 步模型对“一周前同一天”的记忆就会明显变弱。记住窗口说的是原始数据步数而 GRU 实际看到的是池化后的步数两者不是一回事。4.3 学习率、批次大小与早停先求稳再求准学习率我从 1e-3 起步。如果训练 loss 在前 10 个 epoch 震荡不降说明学习率偏高改到 1e-4 再跑如果 loss 降得很慢、曲线平缓可能就是学习率偏低可以小幅调到 2e-3 试试。ReduceLROnPlateau 会在验证 loss 停滞时自动降一半直到最低 1e-6基本能覆盖大部分情况。批次大小在窗口长度为 600 到 700 时用 32 比较稳太大会让每个 batch 包含的周期形态过于单一太小则梯度噪声大。早停 patience 我设在 20配合 ModelCheckpoint 保留最优权重。这里的逻辑是早停负责判断什么时候停检查点负责记住什么时刻的模型最好两者缺一不可。还有一个容易忽略的参数训练 epoch 上限。设 200 不是为了跑满而是给早停一个足够宽的空间。我见过很多人只设 50 个 epoch模型还在下降期就被硬切掉最后精度差了一大截。设 200 以上配合早停反而能在 30 到 60 个 epoch 内稳定收敛。5. CNN-GRU-Attention 常见坑从现象到解决5.1 反归一化直接报错X has 96 features per sample; expecting 1现象执行scaler.inverse_transform(y_pred)时抛 ValueError。原因MinMaxScaler 在 fit 时只看到一个特征列而 y_pred 有 96 列。sklearn 会直接拒绝转换。解决逐列反归一化代码已经在第 3.4 节给出。核心思想是把 y_pred 的每一列切出来转成 (batch, 1)再调用 inverse_transform。如果想少写循环可以用np.concatenate或np.apply_along_axis但代码可读性会差一些我保持用循环。5.2 模型在训练集上损失极低但测试集上一测就偏现象训练 mae 不停下降验证 loss 也看起来很漂亮换了新数据后预测值整体漂移。原因先对整个数据集做标准化再切训练测试scaler 的 min/max 把测试段信息提前带进了训练归一化。更危险的是用了随机切分导致有些训练窗口里混着未来的数据点。解决先按时间切分只对训练段 fit scaler测试段只用 transform。如果代码里出现scaler.fit(全量数据)立马改成scaler.fit(训练段)。验证集也要按时间顺序取最后一段不要用 train_test_split 的默认 shuffle。判断方法很简单把训练和测试的 mae 曲线都画出来如果训练非常好而测试持续不动先查数据流动顺序。5.3 自定义 Attention 层在模型保存加载时报 Unknown layer现象model.save 没有任何报错但用 load_model 加载时报Unknown layer: AttentionLayer。原因Keras 在反序列化时找不到自定义层的类定义。普通内置层没有这个问题但 AttentionLayer 是我们自己写的。解决加载时显式传入 custom_objectsfrom tensorflow.keras.models import load_model model load_model(best_model.keras, custom_objects{AttentionLayer: AttentionLayer})如果还不行确认 AttentionLayer 的类定义在加载脚本里是可见的。另一个办法是改用 Keras 内置的 layers.Attention 实现虽然写起来要传入 query 和 value 两个张量但能彻底绕开自定义对象序列化的问题。模板代码我建议用自定义层因为可读性高生产部署时再做这个替换也不迟。5.4 GRU 输入维度不匹配Input 0 of layer gru is incompatible现象模型编译时报 ValueError提示 gru 层的输入形状和上一层的输出形状不一致或者输入维度少了一层。原因最常见的是 return_sequencesTrue 没设置GRU 把输出从 (batch, steps, units) 压成了 (batch, units)AttentionLayer 拿到的是一个三维张量不匹配的结果另一种是池化层数改多了时间步数跟模型里写死的常数没同步。解决改完模型结构后先跑一次 model.summary() 确认每层输出形状。模板代码里的窗口 672经过两层 MaxPooling 后是 168 步GRU 接收的输入形状是 (None, 168, 32)。如果你把窗口改成 96却保留两层池化GRU 步数会变成 24这时候要确认 AttentionLayer 的 build 里用的是 input_shape[1]而不是写死的 48。把自定义层写得越通用后面改参数就越省事。5.5 预测结果整体滞后一个时刻曲线被“平移”了一个点现象预测曲线形状和真实曲线几乎一致但整体向右偏移一个或几个时间点看起来像模型抄了上一段的值。原因在逐步预测而不是直接多步预测时模型很容易学会“把上一时刻的值搬过来”因为负荷数据本身自相关很强。模板里直接预测未来 96 个点已经避开了这个问题但如果有人把预测改成“循环预测下一点、再把预测值拼回去”误差会沿着时间步积累滞后现象特别明显。解决坚持一次性输出整个 HORIZON 窗口。如果业务需要滚动预测每一步滚动都要把真实观测值喂回去而不是把上一轮预测值当输入。评估时也别只算相关系数相关系数高不代表预测准要改用绝对误差。6. 验证与扩展从“跑通”到“敢用”最后把模型变成小工具6.1 用固定基线和三个指标判断模型是否可信模型跑通后的第一件事不是调参而是建立一个不可靠的基线直接拿“昨天同一时刻的负荷”当预测值。如果 cnn-gru-attention 的误差和这个无脑基线差不多说明模型学到的东西有限问题往往出在数据质量或窗口设置上。我常用的三个指标是 RMSE、MAE、MAPE但 MAPE 在负荷低谷时会被小分母放大深夜一个很小的绝对误差就能让百分比飙升。所以我会同时看低谷时段和高负荷时段的误差分开算。def mape(y_true, y_pred): return np.mean(np.abs((y_true - y_pred) / y_true)) * 100预测结果可信的另一个判断标准是误差不随时间漂移。把测试段按时间分成前、中、后三段分别算 RMSE。如果后半段误差持续变大说明模型在泛化上开始退步需要回到窗口长度和各层尺寸上找原因。6.2 把 Attention 权重导出来让模型可解释准备一个只到 Attention 层的子模型把预测样本的注意力权重打印出来。这一步花不了多少时间但能直观看到模型重点参考了什么历史时段。att_model Model(inputsmodel.input, outputsmodel.get_layer(attention).output) att_weights att_model.predict(X_test[:1]) print(att_weights.shape) # (1, 168)168 个时间步各有一个权重把权重按时间对应到原始负荷曲线上就能看到模型最看重的是最近几个小时还是昨天同时段。如果业务上明明是“上午启动了大功率设备导致下午负荷异常”模型权重却落在深夜那你就能判断是数据缺了工况标签还是模型结构表达不了这类关系。这类模型做扩展也不难把 Input 的最后一维从 1 改成多特征比如温度、湿度、星期几CNN 的卷积核会自己处理多通道输入。业务上要部署到现场的话可以用 Nuitka 把预测脚本打包成独立可执行程序或者写一个定时脚本每天拉最新数据、跑预测、把结果写进 Excel交给值班同事直接用。我现在每次训练都固定随机种子、记 baseline 参数、画三张曲线loss、验证误差、注意力热力图。这不会让模型变聪明但能让你在它翻车时快速找到原因。希望帮到你。本文还有配套的精品资源点击获取