简介基于卡尔曼滤波的电力负荷预测系统资源包面向电力系统调度人员、算法研究者及电气工程相关专业学生用于解决短期负荷预测精度不足和能源调度优化问题。包内集成数据预处理、状态空间建模、递归贝叶斯估计、协方差矩阵更新与预测误差最小化等完整流程可通过MATLAB脚本直接复现滤波预测过程。压缩包共7个文件约1.25MB核心包括3个MATLAB脚本分别对应主预测流程、卡尔曼滤波实现与数据预处理、1篇PDF论文、1份Word附赠文档、1个Markdown说明和1个txt说明文件兼顾理论说明与代码实践。目前已有58人学习/浏览适合需要快速上手卡尔曼滤波负荷预测的读者。通过该包可获得可运行的算法脚本、系统设计思路和实验分析文档为后续改进预测模型或开发能源管理功能提供基础。1. 基于卡尔曼滤波的电力负荷预测系统为什么把负荷预测变成递归贝叶斯估计做过电力负荷预测的人都知道真实负荷曲线不是一条光滑折线而是趋势、日周期、节假日扰动和采集噪声叠在一起的结果。基于卡尔曼滤波的电力负荷预测系统核心思路是不再试图用一个全局方程去拟合所有规律而是把负荷当作状态空间模型下的隐藏状态用每一刻钟新到的观测做递归贝叶斯估计不断更新状态和协方差矩阵最终让预测误差最小化。它特别适合在线能源管理优化既要跟随缓慢变化又要在负荷突变时及时修正。数据处理工程师可以用它做实时负荷预测算法工程师也可以把它当作一个可解释、可调参的强基线。2. 电力负荷数据预处理清洁、去趋势、归一化缺一不可2.1 为什么预处理直接影响卡尔曼滤波的收敛质量卡尔曼滤波的基本假设是过程噪声和观测噪声都服从零均值高斯分布。现实中采集到的电力负荷数据离这个假设很远终端离线会产生缺失块车间启停会带来尖峰节假日会打破工作日规律时间戳错位还会让同一条曲线上的点“搬家”。如果不做预处理状态转移模型会把脏形态当成真实状态变化协方差矩阵更新会被带偏滤波结果看起来平滑实际上滞后或震荡。所以数据预处理是这个系统里最值得花时间的一环。时间序列分析里常说垃圾进垃圾出用卡尔曼滤波时尤其明显。Q 和 R 两套协方差如果建立在含异常值的数据上后面调参再努力也很难救回来。下面这套是我在负荷预测项目里常用的流程先清洗再分解最后做尺度归一化。2.2 数据清洗缺失值插值与 MAD 削峰落地模板以下代码覆盖最常遇到的两类脏数据短时间缺失和孤立尖峰。import pandas as pd import numpy as np def clean_load_data(df, colload, freq15min): df df.copy() df[time] pd.to_datetime(df[time]) df df.set_index(time).sort_index() # 缺失值连续缺失在 6 个点以内用时间插值超过就保留 NaN df[missing] df[col].isna().astype(int) df[miss_grp] df[missing].ne(df[missing].shift()).cumsum() miss_len df.groupby(miss_grp)[missing].transform(sum) df.loc[(df[missing] 1) (miss_len 6), col] \ df[col].interpolate(methodtime) df df.drop(columns[missing, miss_grp]) # 尖峰削平用滚动中位数和 MAD 判断 med df[col].rolling(window7, centerTrue, min_periods1).median() mad (df[col] - med).abs().rolling(window7, centerTrue, min_periods1).median() lower med - 5 * 1.4826 * mad upper med 5 * 1.4826 * mad df.loc[df[col] upper, col] upper df.loc[df[col] lower, col] lower return df这段代码里有几个参数要重点解释。interpolate(methodtime)是按时间间隔做线性插值比默认的linear更尊重不均匀时间戳。滚动窗口定为 7在 15 分钟粒度下大约等于 2 小时这个长度内负荷不会突变到离谱如果换到 1 小时粒度窗口要调到 25 左右。MAD 的系数 5 是经验值1.4826是把中位数绝对偏差换算成标准差的常数这样阈值仍能和 3σ、5σ 的习惯对齐。连续缺失超过 6 个点不插值是有意为之因为长段缺失会被插值成一段低波动数据卡尔曼滤波会误以为这段时间的状态很确定协方差矩阵里的不确定性被严重低估。遇到长段缺失正确做法是保留 NaN并在后续在线预测时跳过观测更新只做状态预测。2.3 时间序列分析与去趋势给卡尔曼滤波输入残差而不是原始负荷原始负荷里有一个很强的日周期成分15 分钟粒度下每天有 96 个点。卡尔曼滤波的状态转移如果只建模当前水平和趋势面对每天规律性起伏就只能靠观测去追每次追都会留下系统性滞后。更稳的做法是用 STL 把负荷拆成趋势分量、季节分量和残差然后把残差序列交给卡尔曼滤波。from statsmodels.tsa.seasonal import STL def detrend_load(series): # period96 表示 15min 粒度下一天有 96 个采样点 res STL(series, period96, robustTrue).fit() resid series - res.trend - res.seasonal return resid, resperiod96是根据采样粒度定的如果原始数据是小时级就改成period24。如果还想拆出周末周期可以分两层做但第一版不建议把周期拆得太细。robustTrue会在估计季节分量时降低节假日尖峰的权重代价是计算时间增加离线预处理可以接受。这样处理后卡尔曼滤波只需聚焦“不可预期的部分”整体预测精度往往比直接对原始负荷做滤波更高。拿到残差后下一步必须检查残差是否已经不再有明显自相关否则说明周期没拆干净。2.4 归一化训练期统计量必须固化不能随新数据重算卡尔曼滤波对尺度很敏感。同一套 Q 和 R在量级几千千瓦的负荷上用是一种效果在量级几十千瓦的负荷上用完全是另一种效果。我习惯用训练期均值和标准差做 z-score而不是 min-max。def fit_scale(arr): mu, sigma arr.mean(), arr.std() return (arr - mu) / sigma, (mu, sigma)不推荐 min-max 的原因是它依赖历史极值。只要未来出现一次更大的负荷映射就会平移卡尔曼滤波的状态和协方差矩阵会在平移瞬间失真。z-score 也会受新数据影响但只要把mu和sigma固化下来新观测就会落到原有尺度上滤波器可以正常更新。提示在切换数据源或跨季节更换数据集时不要重新计算归一化参数后直接灌入原有卡尔曼状态。正确做法是同时重置 P0或者预留一段预热数据让滤波器重新收敛。2.5 预处理效果检查看残差统计而不是看曲线是否光滑很多人做完预处理后只看一眼曲线觉得平滑了就继续往下走。更有效的验证方式是检查残差序列的一阶自相关和 96 步自相关from statsmodels.tsa.stattools import acf resid resid.dropna() r_mean resid.mean() r_acf acf(resid, nlags96)[1] print(残差均值:, r_mean, 一阶自相关:, r_acf)如果残差均值显著不为零说明卡尔曼滤波的状态方程可能少了一个偏置项如果一阶自相关接近 1说明还有趋势没拆干净如果第 96 阶附近出现明显峰值说明日周期没有完全剥离。这个问题提前在预处理阶段发现能省掉后面大量的调参时间。3. 卡尔曼滤波算法实现状态空间模型与递归贝叶斯估计的完整落地3.1 先把负荷建模成状态空间模型状态选几个状态空间模型是卡尔曼滤波的骨架。对于电力负荷预测我常用的状态向量是二维的[level, trend]。level 代表去掉周期和噪声后的基准负荷trend 代表负荷在当前采样间隔内的变化速度。状态转移方程可以写成level_k level_{k-1} trend_{k-1} w_level trend_k trend_{k-1} w_trend这个模型不假设负荷会回归均值更适合工业负荷在几个小时内持续上涨或下跌的过程。如果提前知道某个工厂几点开工可以把开工哑变量放进控制向量 u_k并设置 B 矩阵但不建议为了追求精度把状态升到三维或四维同时表达水平、趋势、加速度和周期。状态维数越高需要估计的协方差矩阵参数越多递归贝叶斯估计反而更容易被噪声带偏。观测方程也很简单。观测值是去趋势后的残差负荷所以 H 矩阵是[1, 0]也就是说观测只能看到 level。这样设计的另一个好处是 Q 和 R 都是小矩阵协方差矩阵更新每一步只有几次矩阵乘法完全满足在线实时预测的算力要求。3.2 卡尔曼滤波五步递推协方差矩阵更新是灵魂卡尔曼滤波的完整递推分预测和更新两个阶段。预测阶段x_pred F x_est P_pred F P_est F.T Q更新阶段先计算卡尔曼增益S H P_pred H.T R K P_pred H.T inv(S)然后用实际观测 y 修正状态和协方差矩阵x_est x_pred K (y - H x_pred) P_est (I - K H) P_pred卡尔曼增益 K 可以理解为预测协方差和观测噪声的比值。K 越大说明滤波越信任观测K 越小说明越信任模型预测。P_est 每步都在更新这就是递归贝叶斯估计的核心。观测继续进来后P 会逐渐收敛到某个稳态。如果 P 收敛得太小滤波器对负荷突变会非常迟钝这也是后面调 Q 时要注意的关键点。3.3 Python 实现一个可以直接落地的 KalmanFilter 类把上面的公式翻译成代码可以封装成一个很小的类import numpy as np class KalmanFilter: def __init__(self, F, H, Q, R, x0, P0): self.F F self.H H self.Q Q self.R R self.x x0.copy() self.P P0.copy() def predict(self): self.x self.F self.x self.P self.F self.P self.F.T self.Q def update(self, y): S self.H self.P self.H.T self.R K self.P self.H.T np.linalg.inv(S) residual y - self.H self.x self.x self.x K residual self.P (np.eye(len(self.x)) - K self.H) self.P # 对称化修正避免浮点误差破坏 P 的对称正定性 self.P (self.P self.P.T) / 2 return residual, K初始化示例F np.array([[1.0, 1.0], [0.0, 1.0]]) H np.array([[1.0, 0.0]]) # 观测只看到 level Q np.array([[0.01, 0.0], [0.0, 0.001]]) R np.array([[0.5]]) # 从预处理残差方差估计 kf KalmanFilter(F, H, Q, R, x0np.array([0.0, 0.0]), P0np.eye(2) * 5.0)代码中有一个很容易踩的细节H 必须保持二维 shape(1, 2)不能写成np.array([1.0, 0.0])。一维数组参与矩阵乘法时numpy 可能自动做广播导致结果 shape 变成外积协方差矩阵更新立刻出错。P0 np.eye(2) * 5表示初始状态不确定性取 5这个值通常设为状态方差的 5 到 10 倍。太小的 P0 会让滤波器在前几步表现得过度自信太大会让初始预测误差偏大。Q 的两个对角元素分别控制水平和趋势的随机变化速度量级需要与归一化后的残差匹配。3.4 在线预测顺序先 predict 再 update别让信息泄漏卡尔曼滤波实现本身不难难的是把调用顺序写对。很多第一次上手的人会写成先 update 再 predict# 错误示范先 update 再 predict每一步都偷看了当前观测 for y in scaled_loads: kf.update(y) pred kf.H kf.x # 正确做法先 predict 得到预测值拿到观测后再 update for y in scaled_loads: kf.predict() pred kf.H kf.x innovation y - pred kf.update(y)在电力负荷预测里当前时刻的观测是已经发生的事我们要预测的是下一时刻或未来几步。先 update 会提前把当前观测修正进状态再做预测表面误差很小实际是用未来信息做训练上线后立刻现原形。新息序列innovation要保留下来它既是调参依据也是判断模型是否失真的重要证据。4. 把卡尔曼滤波装进电力负荷预测系统参数调优与预测误差最小化4.1 Q 和 R 的初始值从数据里问出来而不是手拍Q 和 R 是卡尔曼滤波最核心的一组参数。Q 控制状态随机游走的自信度R 控制观测噪声方差。下面这个表格可以作为调参起点参数含义建议初始值设置过小设置过大Q[0,0]水平状态噪声预处理残差方差的 1e-3 到 1e-1滤波滞后、曲线过于平滑跟随噪声、震荡明显Q[1,1]趋势状态噪声Q[0,0] 的 0.01 到 0.1趋势跟踪慢状态抖动R观测噪声方差预处理残差方差的 0.2 到 1过度信任观测异常值污染状态滤波过于迟钝先做 z-score 归一化再调 Q 和 R否则不同变电站的负荷量级不同同一组参数没法复用。初始 R 可以从预处理残差方差的 0.5 开始Q 里Q[0,0]用残差方差的 0.01Q[1,1]再取Q[0,0]的 0.1。这样一组参数在 15 分钟粒度下通常会在几百个点内收敛。如果想做更系统的调参可以用验证集上的提前一步预测误差作为目标对 Q 和 R 做网格搜索或直接用 scipy 的minimize优化协方差矩阵里的对角元素。但要注意不要把 R 调到比实际观测噪声还小。否则滤波器会把采集尖峰当成真实负荷变化预测误差最小化变成噪声追踪。4.2 外部变量怎么接入回归去解释卡尔曼去追踪只靠卡尔曼滤波跑原始负荷在节假日和天气剧烈变化时会很吃力。一个成熟的电力负荷预测系统通常采用组合方案用回归模型解释外生变量再用卡尔曼滤波追踪未建模的动态。常见做法是分三步用历史负荷训练一个回归模型特征是温度、湿度、星期几、节假日标识输出基准负荷预测。计算实际负荷与基准预测的残差。对残差序列做卡尔曼滤波得到残差预测最终预测等于基准预测加残差预测。这样做的理由是卡尔曼滤波擅长低维状态动态追踪机器学习模型适合高维外生变量建模两者分开状态空间模型不会因为硬塞十几个解释变量而变得不可控。需要注意的是天气预报表本身也有误差如果直接把原始天气预报温度塞进去卡尔曼滤波的新息序列会长期偏向某一侧预测误差最小化反而变成误差转移。4.3 预测误差最小化的评估方法新息序列比 RMSE 更诚实评估卡尔曼滤波负荷预测系统时不能只看 RMSE。卡尔曼滤波理论给出一个更严格的检验标准新息序列应当是零均值、不相关的。提前一步预测的新息就是上一节代码里的innovation可以这样统计innovations np.array(innovations) print(新息均值:, innovations.mean()) print(新息标准差:, innovations.std()) print(一阶自相关:, np.corrcoef(innovations[:-1], innovations[1:])[0, 1])如果新息均值明显偏离零说明状态空间模型缺少一个时变的偏移项常见修法是给状态向量增加一个偏置分量。如果一阶自相关接近 1说明预测误差在相邻时段高度相关模型没有捕捉到负荷的惯性。如果第 96 步附近还有强自相关说明日周期没有进入模型需要回到预处理阶段检查 STL 参数。在调度场景里RMSE 比 MAPE 更适合用来对比模型因为负荷接近零点时 MAPE 会爆表而调度更关心大误差是否超标。把 RMSE 和最大误差放在一起看才能判断卡尔曼滤波是否真的让预测误差最小化而不只是平均误差好看。5. 卡尔曼滤波负荷预测常见问题与避坑指南5.1 现象滤波发散预测曲线越走越歪原因Q 与 R 的比值失调滤波发散的表现是预测曲线不再围绕真实负荷波动而是渐渐偏离甚至跑到物理上不可能的区间。常见原因是 Q 设得过大或 R 设得过小导致卡尔曼增益过高滤波器把最新观测中的噪声当成真实状态变化一步步把状态拉走。解决方法是固定 R取预处理残差的方差再用控制变量法扫 Q。把Q[0,0]从 1e-4 到 1 按对数步长取 10 个值在验证集上算提前一步预测 RMSE选最小的那个。不要凭感觉反复试否则你根本分不清是 Q 的问题还是数据预处理的问题。5.2 现象预测值总比实际慢一个采样周期原因状态转移矩阵缺少趋势项如果 F 用的是恒等矩阵或者状态向量只包含 level 不包含 trend那滤波器本质上是在用昨天的水平预测今天的水平。负荷一旦持续上升或下降预测就永远慢一拍。解决方法是把状态扩展成二维F 写成[[1, 1], [0, 1]]给趋势一个独立状态变量。如果加了趋势仍然滞后再去检查 B 矩阵是不是为空。对于有明确开工时间的工业用户可以在控制向量里加入开工前 1 小时、开工后 2 小时这类时间特征。5.3 现象节假日前后的误差明显放大原因节假日没有作为外生变量进入模型节假日前一天负荷往往开始下滑节后恢复这种变化不完全符合日周期。如果预处理拆掉了日周期但没拆节假日效应残差序列会整体偏移卡尔曼滤波的状态会被带偏。解决办法是提前构造节假日哑变量作为回归模型的输入并在 STL 分解时设置robustTrue降低节假日尖峰对季节分量的影响。调参时不要把节假日全放进验证集最后只拿工作日数据上线否则真实场景里节假日误差会很难看。5.4 现象接入新数据后预测突然跳变状态和协方差矩阵全部变形原因归一化参数被重复计算系统跑了一周一直很稳定某天切换数据源或补齐缺失块后预测曲线出现明显阶跃。常见原因是有人在整套流程里重新计算了mean和std。卡尔曼状态是在旧尺度下收敛的换到新尺度后同一个状态值对应的物理负荷完全变了。解决方法是把归一化参数固化到配置文件中新数据到达时只做相同的减法除法。如果数据源变化导致分布确实变化不要把旧状态继续硬跑应该重置 P0 为一个较大的初始值让滤波器重新预热。预热期内不要直接拿预测结果去调度。5.5 现象协方差矩阵 P 出现负对角元素原因数值精度与矩阵 shape 问题调试时打印 P发现某个对角元素变成负值或 NaN卡尔曼增益也出现异常。这个坑多半不是算法问题而是 numpy 的数组 shape 写错了。H 写成了一维数组矩阵乘法会按广播规则得到外积协方差矩阵更新公式全部失效。解决方法是把所有矩阵都保持二维 shapeH 写成(1, n)K 写成(n, 1)并且每次更新后强制执行P (P P.T) / 2。这个方法不改变理论值但能消除浮点误差带来的不对称。对长时间运行的在线系统这个对称化操作应该保留。6. 进阶技巧用新息阈值自适应调节 Q让卡尔曼滤波在负荷突变时不掉队卡尔曼滤波在稳态运行时P 会收敛到很小的值这时滤波器相信自己的预测新观测到达后修正幅度很小。这个特性在平时很好但遇到负荷突变比如大用户临时开工或甩负荷滤波器的响应速度会明显偏慢。一个简单有效的技巧是用新息序列做阈值判断。当新息绝对值超过历史新息标准差的 3 倍时临时把 Q 调大下次预测时给状态更大的不确定性让卡尔曼增益自动变大突变过后再恢复基准 Q。base_Q kf.Q.copy() threshold 3 * np.std(innovations[-96:]) # 用最近一天的新息做参考 kf.predict() innovation y - kf.H kf.x if abs(innovation) threshold: kf.Q[0, 0] base_Q[0, 0] * 20 kf.update(y) if abs(innovation) threshold: kf.Q[0, 0] base_Q[0, 0]有个细节必须注意阈值窗口里如果已经混入突变点标准差会被抬高阈值也跟着失去意义。我一般先做一个初步 5σ 过滤把明显异常的新息剔除后再计算标准差这样正常时段和突变时段都能被识别。这个做法在理论上不是严格的贝叶斯最优估计但它不牺牲稳态精度只提升突变恢复速度工程上非常实用。验证这套系统是否值得投入可以用同一个月的数据对比三条线纯历史平均、固定 Q 的卡尔曼滤波、自适应 Q 的卡尔曼滤波。重点看高峰时段和工厂启停时段的 RMSE而不是整体平均误差。如果卡尔曼滤波只在平缓时段赢说明状态模型还没建对如果突变时段明显改善这个方向才值得继续投入。我自己上线前还有一个习惯无论如何先跑满一周的新息自相关检查确认 Q 和 R 没有把误差藏起来。只有新息序列稳定调度人员才敢把预测值接到能源管理优化里。希望帮到你。本文还有配套的精品资源点击获取