简介本资源为基于人工神经网络、随机森林与LSTM三种模型的径流预测项目代码包面向计算机、人工智能、水文水利等相关专业的在校学生、教师及企业员工可用于课程设计、毕业设计、作业提交或项目初期立项演示也适合具备一定基础的学习者进阶研究。压缩包共107个文件约4.97MB包含7个Python源码文件、1个Jupyter Notebook、3个CSV数据文件、12个模型权重文件pth、74张结果图png以及说明文档md覆盖数据处理、模型训练、指标评估与可视化全流程。项目代码均经过实际运行测试功能完整下载后可直接复现。目前已有124人学习关注。读者可从中获得三种预测模型的完整实现方案、模型评估指标图表、数据可视化示例及清晰的目录结构便于快速理解径流预测建模思路并在此基础上修改扩展实现其他功能或迁移至相似时序预测任务。1. 径流预测选 ANN、随机森林还是 LSTM先搞清楚你的数据长什么样做水文预报的同行多半遇到过这种场景手里攥着某流域十几年的日径流和降雨数据领导要你下个月上线一套预测系统精度还得比隔壁组用经验公式的高。你打开文献满眼都是人工神经网络、随机森林、LSTM论文里 R² 动辄 0.9 以上可自己一跑测试集误差大得没法看。问题往往不在模型本身而在于你还没判断清楚这条流域的产汇流过程到底是靠同期降雨就能解释还是必须依赖前几天的径流记忆。径流预测本质是一个带时序依赖的回归问题。人工神经网络ANN适合处理“当前时刻的气象因子到当前时刻径流”这种静态映射随机森林对多因子非线性关系稳、抗过拟合、调参少是很好的基线LSTM 则专门吃“过去 N 天序列到未来一天径流”这种长短期依赖。选错模型后面调参再努力也是白费。这篇笔记按“先判断数据形态 → 再搭基线 → 再上时序模型 → 最后避坑”的顺序展开适合已经会用 Python 处理表格数据、想把这套东西真正落到自己流域上的工程师。2. 数据准备与特征工程让三种模型都能吃上同一份输入2.1 径流预测的数据形态判断静态映射还是时序依赖拿到数据先别急着建模画三张图就能定性。第一张把当日径流和当日降雨做散点图如果点云散得像一团雾说明同期降雨解释力弱必须引入滞后项。第二张画径流自相关函数ACF如果滞后 1 到 7 天的自相关系数衰减很慢说明流域调蓄能力强LSTM 会有明显优势。第三张画降雨的互相关函数CCF看降雨领先径流几天达到最大相关这个天数就是你要构造的滞后阶数。我一般会先算一个基准只用当日降雨和当日气温做线性回归记下它的纳什效率系数NSE。如果线性模型 NSE 已经到 0.6 以上说明这个流域响应快ANN 和随机森林就够用如果线性模型 NSE 只有 0.3而加入前 7 天径流后跳到 0.8那 LSTM 才是正解。这一步不做后面模型选型全靠猜。2.2 构造滞后特征与训练集划分的四个硬约束三种模型要公平对比输入特征必须统一。常见做法是构造一个宽表每一行是一个样本日列包括当日降雨、前 1 到前 7 天降雨、当日气温、前 1 到前 7 天径流以及目标“次日径流”。下面这段代码把原始日数据转成这个宽表并处理缺测。import pandas as pd import numpy as np # df 至少包含 date, rain, temp, runoff 四列按日期升序 df df.sort_values(date).reset_index(dropTrue) # 滞后特征降雨和径流各取前 1 到 7 天 for lag in range(1, 8): df[frain_lag{lag}] df[rain].shift(lag) df[frunoff_lag{lag}] df[runoff].shift(lag) # 目标次日径流 df[target] df[runoff].shift(-1) # 缺测处理滞后产生的空值直接删径流缺测用线性插值 df df.dropna(subset[frain_lag{i} for i in range(1, 8)] [frunoff_lag{i} for i in range(1, 8)]) df[runoff] df[runoff].interpolate(methodlinear) df df.dropna(subset[target]) # 按时间顺序切分前 70% 训练中间 15% 验证后 15% 测试 n len(df) train df.iloc[:int(n*0.7)] val df.iloc[int(n*0.7):int(n*0.85)] test df.iloc[int(n*0.85):]逻辑说明滞后阶数取 7 是经验值对应一周的流域记忆你可以根据 2.1 的 CCF 结果调整。参数说明shift(lag)产生的是“前 lag 天”的值shift(-1)是“后一天”作为目标。四个硬约束必须遵守第一绝不能随机打乱划分否则时间泄漏会让指标虚高第二验证集用来选超参测试集只在最后跑一次第三缺测插值只对径流做降雨缺测建议直接删样本第四训练集的均值和方差要保存下来后面归一化测试集时用同一套参数。2.3 归一化与滑动窗口LSTM 输入和树模型输入的分岔点随机森林和 ANN 对特征尺度敏感度不同。随机森林基于分裂点不需要归一化ANN 和 LSTM 必须归一化否则梯度爆炸或收敛慢。我一般对 ANN 和 LSTM 用 MinMax 归一化到 [0,1]对随机森林保留原始值。LSTM 还需要把宽表转成三维张量样本数 × 时间步长 × 特征数。下面这段代码把宽表转成 LSTM 需要的滑动窗口。from sklearn.preprocessing import MinMaxScaler # 只对 ANN/LSTM 用的特征做归一化scaler 在训练集上 fit feature_cols [rain, temp] [frain_lag{i} for i in range(1,8)] \ [frunoff_lag{i} for i in range(1,8)] scaler MinMaxScaler() train_scaled scaler.fit_transform(train[feature_cols]) val_scaled scaler.transform(val[feature_cols]) test_scaled scaler.transform(test[feature_cols]) # 滑动窗口用过去 7 天特征预测第 8 天 def make_windows(data, target, window7): X, y [], [] for i in range(window, len(data)): X.append(data[i-window:i]) y.append(target[i]) return np.array(X), np.array(y) X_train, y_train make_windows(train_scaled, train[target].values) X_val, y_val make_windows(val_scaled, val[target].values) X_test, y_test make_windows(test_scaled, test[target].values)逻辑说明make_windows把每个样本的前 7 天作为一个时间步序列目标是对应第 8 天的径流。参数说明window7要和滞后阶数一致否则特征对不齐。注意目标值target没有归一化训练时 LSTM 输出层直接回归原始径流这样评估指标不用反归一化少一层出错可能。3. 随机森林与 ANN 基线先用半天跑出可信的对比数字3.1 随机森林回归的必调参数与 OOB 验证随机森林是我做径流预测的第一条基线因为它几乎不需要预处理还能输出特征重要性。用sklearn的RandomForestRegressor关键参数只有三个n_estimators树的数量一般 300 到 500 够用max_depth树深径流数据噪声大建议限制在 10 到 15 防止过拟合min_samples_leaf叶节点最小样本数设 3 到 5 能平滑预测。开启oob_scoreTrue可以用袋外样本快速评估不用单独切验证集。from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import r2_score, mean_squared_error rf RandomForestRegressor( n_estimators400, max_depth12, min_samples_leaf4, oob_scoreTrue, random_state42, n_jobs-1 ) rf.fit(train[feature_cols], train[target]) pred_rf rf.predict(test[feature_cols]) print(OOB R2:, rf.oob_score_) print(Test R2:, r2_score(test[target], pred_rf)) print(Test RMSE:, mean_squared_error(test[target], pred_rf, squaredFalse))逻辑说明oob_score_是袋外样本的 R²能快速判断模型有没有过拟合。参数说明n_jobs-1用满 CPU 核。如果 OOB R² 比测试 R² 高很多说明模型过拟合把max_depth降到 8 再试。特征重要性用rf.feature_importances_查看如果runoff_lag1重要性远高于降雨说明这个流域记忆效应强LSTM 值得上。3.2 人工神经网络的层数与学习率别一上来就堆深度ANN 做径流预测两层隐藏层足够。第一层 64 个神经元第二层 32 个激活函数用 ReLU输出层一个神经元线性激活。学习率用 0.001优化器 Adam批大小 32早停耐心值 20。下面用 PyTorch 写一个最小可跑版本。import torch import torch.nn as nn from torch.utils.data import DataLoader, TensorDataset class ANN(nn.Module): def __init__(self, n_features): super().__init__() self.net nn.Sequential( nn.Linear(n_features, 64), nn.ReLU(), nn.Linear(64, 32), nn.ReLU(), nn.Linear(32, 1) ) def forward(self, x): return self.net(x) # 转成张量 X_tr torch.tensor(train_scaled, dtypetorch.float32) y_tr torch.tensor(train[target].values, dtypetorch.float32).view(-1,1) X_te torch.tensor(test_scaled, dtypetorch.float32) y_te torch.tensor(test[target].values, dtypetorch.float32).view(-1,1) loader DataLoader(TensorDataset(X_tr, y_tr), batch_size32, shuffleTrue) model ANN(X_tr.shape[1]) opt torch.optim.Adam(model.parameters(), lr0.001) loss_fn nn.MSELoss() for epoch in range(200): model.train() for xb, yb in loader: opt.zero_grad() loss loss_fn(model(xb), yb) loss.backward() opt.step() if epoch % 20 0: model.eval() with torch.no_grad(): val_pred model(torch.tensor(val_scaled, dtypetorch.float32)) val_loss loss_fn(val_pred, torch.tensor(val[target].values, dtypetorch.float32).view(-1,1)) print(fEpoch {epoch}, Val Loss {val_loss.item():.4f})逻辑说明shuffleTrue只在训练集打乱验证和测试保持顺序。参数说明学习率 0.001 是 Adam 的常用起点如果验证损失震荡降到 0.0005如果下降太慢升到 0.002。早停没写进代码实际跑的时候每 5 个 epoch 检查验证损失连续 4 次不降就停。3.3 用 NSE 和 KGE 评估别只看 RMSE水文领域评估径流预测RMSE 和 R² 不够必须看纳什效率系数NSE和 Kling-Gupta 效率KGE。NSE 对高流量敏感KGE 兼顾相关性、偏差和变异性。下面函数直接算这两个指标。def nse(obs, sim): return 1 - np.sum((obs - sim)**2) / np.sum((obs - np.mean(obs))**2) def kge(obs, sim): r np.corrcoef(obs, sim)[0,1] alpha np.std(sim) / np.std(obs) beta np.mean(sim) / np.mean(obs) return 1 - np.sqrt((r-1)**2 (alpha-1)**2 (beta-1)**2) print(RF NSE:, nse(test[target].values, pred_rf)) print(RF KGE:, kge(test[target].values, pred_rf))逻辑说明NSE 大于 0.75 算合格大于 0.85 算优秀。KGE 大于 0.7 算合格。参数说明obs是实测sim是预测。如果 NSE 高但 KGE 低说明模型对低流量偏差大需要检查训练集是否包含足够枯水期样本。4. LSTM 时序模型把过去 7 天的记忆真正用起来4.1 LSTM 层数、隐藏单元与 Dropout 的取值边界LSTM 做径流预测一层或两层就够。隐藏单元 32 到 64Dropout 0.2 到 0.3 防过拟合。输入维度是特征数输出维度 1。下面用 PyTorch 搭一个两层 LSTM。class LSTMModel(nn.Module): def __init__(self, n_features, hidden64, layers2, dropout0.3): super().__init__() self.lstm nn.LSTM(n_features, hidden, layers, batch_firstTrue, dropoutdropout) self.fc nn.Linear(hidden, 1) def forward(self, x): out, _ self.lstm(x) return self.fc(out[:, -1, :]) # 取最后一个时间步 model LSTMModel(X_train.shape[2])逻辑说明batch_firstTrue让输入形状为 (batch, seq_len, features)。out[:, -1, :]取最后一个时间步的隐藏状态做回归。参数说明hidden64是起点数据量小于 5000 样本时降到 32layers2比 1 层略好但 3 层以上容易过拟合dropout0.3在两层之间生效。4.2 训练 LSTM 的三个关键设置梯度裁剪、学习率衰减、早停LSTM 训练容易梯度爆炸必须加梯度裁剪。学习率用 0.001每 30 个 epoch 衰减 0.5。早停耐心值 30。下面训练循环把这些都加上。model LSTMModel(X_train.shape[2]) opt torch.optim.Adam(model.parameters(), lr0.001) scheduler torch.optim.lr_scheduler.StepLR(opt, step_size30, gamma0.5) loss_fn nn.MSELoss() X_tr_t torch.tensor(X_train, dtypetorch.float32) y_tr_t torch.tensor(y_train, dtypetorch.float32).view(-1,1) X_val_t torch.tensor(X_val, dtypetorch.float32) y_val_t torch.tensor(y_val, dtypetorch.float32).view(-1,1) loader DataLoader(TensorDataset(X_tr_t, y_tr_t), batch_size32, shuffleTrue) best_val float(inf) patience 0 for epoch in range(300): model.train() for xb, yb in loader: opt.zero_grad() loss loss_fn(model(xb), yb) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) opt.step() scheduler.step() model.eval() with torch.no_grad(): val_loss loss_fn(model(X_val_t), y_val_t).item() if val_loss best_val: best_val val_loss patience 0 torch.save(model.state_dict(), best_lstm.pt) else: patience 1 if patience 30: print(fEarly stop at epoch {epoch}) break逻辑说明clip_grad_norm_把梯度范数限制在 1.0防止爆炸。StepLR每 30 个 epoch 把学习率乘 0.5。早停保存验证损失最低的模型。参数说明max_norm1.0是常用值如果训练损失不降可以放宽到 5.0patience30对应 300 个 epoch 上限数据量小可以降到 20。4.3 预测结果反归一化与多步预测的两种策略LSTM 输出的是原始径流不需要反归一化。但如果你的目标做了归一化必须用训练集的 scaler 反变换。多步预测有两种策略递归预测用预测值当前一天的特征逐步往后推直接预测训练多个模型分别预测未来 1 到 7 天。递归预测误差会累积直接预测需要更多模型。我一般先做递归预测看 3 天内的 NSE如果衰减太快再考虑直接预测。# 递归预测未来 3 天 model.load_state_dict(torch.load(best_lstm.pt)) model.eval() last_window test_scaled[-7:].copy() # 最后 7 天特征 preds [] for step in range(3): x torch.tensor(last_window[np.newaxis, :, :], dtypetorch.float32) with torch.no_grad(): pred model(x).item() preds.append(pred) # 把预测的径流填入窗口最后一行对应的 runoff 列滚动 new_row last_window[-1].copy() new_row[feature_cols.index(runoff_lag1)] pred last_window np.vstack([last_window[1:], new_row]) print(未来 3 天预测:, preds)逻辑说明每次预测后把预测值填入下一行窗口的runoff_lag1位置模拟真实滚动。参数说明feature_cols.index(runoff_lag1)找到对应列如果你的特征顺序不同要相应调整。递归预测超过 3 天误差会明显放大建议只用于短期。5. 避坑与排查径流预测里最容易翻车的五件事5.1 现象测试集 NSE 0.9上线后惨不忍睹原因随机打乱划分导致时间泄漏或者用了未来信息做特征。解决严格按时间顺序切分特征只允许用当前及过去的数据。检查方法把测试集整体后移一年再跑如果 NSE 暴跌说明模型学到了时间趋势而非产汇流关系。5.2 现象LSTM 训练损失震荡不收敛原因学习率太大或者没有梯度裁剪。解决学习率降到 0.0005加clip_grad_norm_(max_norm1.0)。如果还震荡检查输入是否有异常值比如降雨缺测填了 -999。5.3 现象随机森林特征重要性里降雨全排后面原因径流自相关太强滞后径流特征主导。解决这不一定坏事说明流域记忆强。如果想看降雨贡献单独训练一个只用降雨和气温的模型对比 NSE 下降多少。5.4 现象ANN 验证损失比训练损失低原因验证集样本太少或者验证集和训练集分布不同。解决检查验证集是否包含极端洪水事件如果训练集没有类似样本模型无法泛化。把验证集扩大或重新划分。5.5 现象多步预测第二天开始误差爆炸原因递归预测把预测误差当真实值喂回模型。解决改用直接预测为未来每一天单独训练一个模型或者用 Seq2Seq 结构一次输出多步。短期应急可以只报第一天预测。6. 把三种模型串成一套可复现的对比流程6.1 统一评估脚本一次跑完 ANN、随机森林、LSTM把前面所有代码封装成函数输入同一份train/val/test输出三个模型的 NSE、KGE、RMSE 对比表。下面是一个调度脚本的骨架。def evaluate(name, obs, pred): print(f{name}: NSE{nse(obs,pred):.3f}, KGE{kge(obs,pred):.3f}, fRMSE{mean_squared_error(obs,pred,squaredFalse):.3f}) # 随机森林 rf_pred rf.predict(test[feature_cols]) evaluate(RF, test[target].values, rf_pred) # ANN model_ann.eval() with torch.no_grad(): ann_pred model_ann(torch.tensor(test_scaled, dtypetorch.float32)).numpy().flatten() evaluate(ANN, test[target].values, ann_pred) # LSTM model_lstm.load_state_dict(torch.load(best_lstm.pt)) model_lstm.eval() with torch.no_grad(): lstm_pred model_lstm(torch.tensor(X_test, dtypetorch.float32)).numpy().flatten() evaluate(LSTM, y_test, lstm_pred)逻辑说明三个模型用同一个测试集和同一套指标结果才有可比性。参数说明y_test是 LSTM 的滑动窗口目标长度比test[target]少 7 个样本对比时要注意对齐。6.2 用特征重要性指导 LSTM 输入精简随机森林跑完后看feature_importances_把重要性低于 0.01 的特征从 LSTM 输入里删掉重新训练。我试过把 14 个特征精简到 8 个LSTM 验证损失降了 12%训练时间少一半。精简后的特征列表要保存线上推理时用同一套。6.3 一个我常犯的错误忘了保存 scaler第一次上线时训练时用了 MinMaxScaler推理时忘了加载直接用原始值喂 LSTM预测结果全偏。后来养成习惯把 scaler 和模型一起打包保存用joblib.dump(scaler, scaler.pkl)推理前先scaler.transform。这个坑不踩一次记不住希望你别踩。本文还有配套的精品资源点击获取