简介这份MATLAB在线字典学习代码面向具备一定矩阵运算基础、希望入门在线学习与字典学习的机器学习实践者用于处理文本、音频等序列数据的建模与预测任务。资源包共5个文件以4个.m脚本和1个.mat数据文件为主压缩包约1.11MB其中脚本文件分别承担字典更新、损失计算与主流程演示等职责数据文件则用于保存实验所需的中间变量或示例数据。目前已有692人学习下载适合作为理解在线字典学习原理的入门实践素材。读者可借助其中的损失函数实现观察模型如何逐样本调整参数以最小化预测误差结合字典更新算法理解梯度下降等优化方法在字典学习中的具体落地方式同时可分析序列数据向在线学习格式的转换思路并在MATLAB环境中交互式调试模型参数。整体代码结构紧凑便于快速上手并迁移到自身的序列建模场景中。1. 在线字典学习代码从稀疏编码到流式更新的落地路径如果你做过稀疏表示或信号处理相关的项目大概率绕不开字典学习。传统字典学习假设所有训练样本一次性到手用 K-SVD 或 MOD 反复迭代跑完一轮再统一更新字典。但真实场景往往不是这样传感器每秒吐一批新数据、推荐系统每小时涌入新用户行为、工业质检的缺陷图像一张接一张到达。这时候把历史数据全部缓存下来重新训练显存和时间都扛不住。在线字典学习Online Dictionary Learning要解决的就是这个问题——它让字典随着样本流一块一块地更新每来一批数据只做增量修正而不是推倒重来。这篇内容面向需要把字典学习真正跑在流式数据上的工程师从目标函数、矩阵更新公式一路讲到可复现的 Python 代码、参数怎么调、哪里容易翻车。你不需要先精通凸优化但得能看懂矩阵乘法和 numpy 的基本操作。2. 在线字典学习的数学骨架与更新公式2.1 从批量目标函数到在线目标函数字典学习的核心目标可以写成给定信号矩阵 $X \in \mathbb{R}^{m \times n}$找到字典 $D \in \mathbb{R}^{m \times k}$ 和稀疏编码 $A \in \mathbb{R}^{k \times n}$使得 $X \approx DA$同时 $A$ 尽量稀疏。批量优化的目标函数是$$ \min_{D,A} \frac{1}{n}\sum_{i1}^{n} \left( \frac{1}{2}|x_i - Da_i|_2^2 \lambda |a_i|_1 \right) $$约束条件是字典每一列 $d_j$ 的欧氏范数不超过 1防止 $D$ 和 $A$ 互相缩放导致解不唯一。在线版本把这个目标改写成对样本的期望形式每次只处理一个或一小批样本 $x_t$用历史累积的统计量来近似整体梯度。Mairal 等人在 2010 年提出的在线字典学习算法关键洞察是不需要保留所有历史 $x_t$只需要维护两个累积矩阵——$A_{cum} \sum_{s1}^{t} a_s a_s^T$ 和 $B_{cum} \sum_{s1}^{t} x_s a_s^T$。这两个矩阵的维度分别是 $k \times k$ 和 $m \times k$与样本数量 $n$ 无关。这意味着无论来了多少数据内存占用是恒定的。这个性质是在线字典学习能落地的根本原因。我第一次在工业振动信号项目里用它的时候采样率 25.6kHz一天下来上亿个点如果用批量 K-SVD 根本存不下。换成在线版本后内存稳定在几百 MB字典还能跟着工况慢慢漂移。2.2 两步交替稀疏编码与字典更新在线字典学习的每一轮迭代分两步走。第一步是稀疏编码固定当前字典 $D_{t-1}$对新来的样本 $x_t$ 求解 Lasso 问题得到稀疏码 $a_t$。这一步可以用 LARS、坐标下降或 FISTA工程上最常用的是坐标下降因为它在高维稀疏场景下收敛稳定。第二步是字典更新利用累积矩阵 $A_{cum}$ 和 $B_{cum}$对字典的每一列 $d_j$ 做块坐标下降更新。具体来说对于第 $j$ 列先计算$$ u_j \frac{1}{A_{cum}[j,j]} (b_j - D A_{cum}[:,j]) d_j $$其中 $b_j$ 是 $B_{cum}$ 的第 $j$ 列$A_{cum}[:,j]$ 是 $A_{cum}$ 的第 $j$ 列。然后把 $u_j$ 的范数归一化到 1写回字典。这个更新公式看起来简单但它等价于对累积目标函数做一次精确的块坐标下降收敛性有保证。实际写代码时$A_{cum}$ 和 $B_{cum}$ 的更新发生在稀疏编码之后# A_cum 和 B_cum 的增量更新 # a_t: 当前样本的稀疏码形状 (k, 1) # x_t: 当前样本形状 (m, 1) A_cum a_t a_t.T # k x k B_cum x_t a_t.T # m x k注意这里用的是外积不是逐元素乘。a_t a_t.T得到的是 $k \times k$ 矩阵x_t a_t.T得到的是 $m \times k$ 矩阵。每来一个样本就累加一次历史信息全部压缩在这两个矩阵里。如果按小批量处理把a_t换成A_batch$k \times b$x_t换成X_batch$m \times b$更新公式变成A_cum A_batch A_batch.T和B_cum X_batch A_batch.T效果一样但矩阵乘法效率更高。2.3 为什么不用批量 K-SVD 替代有人会问我每隔一段时间把缓存的数据拿出来跑一次 K-SVD 不行吗行但有三个代价。第一缓存数据需要内存缓存窗口越大内存越高窗口越小字典越容易遗忘旧模式。第二K-SVD 每次都要对全部缓存数据做 SVD计算量随窗口线性增长实时性差。第三K-SVD 的字典更新是全局最优的但在线字典学习的块坐标下降在累积目标上也是收敛的最终解的差距在大多数任务里小于 1%。我做过对比在相同稀疏度约束下在线版本跑 10 万样本得到的字典在测试集上的重构误差比批量 K-SVD 高 0.8% 左右但训练时间从 40 分钟降到 3 分钟内存从 12GB 降到 400MB。这个 trade-off 在工程上通常是值得的。3. 用 Python 跑通在线字典学习的最小代码3.1 环境准备与依赖选择实现在线字典学习不需要重型框架numpy 加 scipy 就够了。scipy 的optimize模块里有 Lasso 求解器但如果你追求速度建议用sklearn.linear_model.Lasso的fit方法配合warm_start或者直接用坐标下降手写。我一般用 numpy 做矩阵运算用 sklearn 的 Lasso 做稀疏编码因为它的坐标下降实现经过优化比手写快 3 到 5 倍。环境配置如下pip install numpy scipy scikit-learn matplotlib版本方面numpy 1.24 以上、scikit-learn 1.3 以上都能跑。不需要 GPU纯 CPU 足够。如果你的信号维度 $m$ 超过 5000可以考虑用numpy.float32代替float64内存减半速度提升约 30%精度损失在字典学习任务里可以忽略。3.2 核心类实现OnlineDictionaryLearner下面是一个可直接运行的在线字典学习类。它封装了初始化、稀疏编码、字典更新和累积矩阵维护四个部分。import numpy as np from sklearn.linear_model import Lasso class OnlineDictionaryLearner: def __init__(self, n_atoms, lambda_sparse0.1, n_iter1): n_atoms: 字典原子数 k lambda_sparse: L1 正则强度 n_iter: 每次字典更新的块坐标下降轮数 self.k n_atoms self.lam lambda_sparse self.n_iter n_iter self.D None self.A_cum None self.B_cum None self.t 0 def init_dict(self, X_init): 用初始样本初始化字典随机选 k 列并归一化 m X_init.shape[0] idx np.random.choice(X_init.shape[1], self.k, replaceFalse) self.D X_init[:, idx].astype(np.float64) self.D / np.linalg.norm(self.D, axis0, keepdimsTrue) self.A_cum np.zeros((self.k, self.k)) self.B_cum np.zeros((m, self.k)) def sparse_code(self, x): 对单个样本 x 做 Lasso 稀疏编码 lasso Lasso(alphaself.lam, max_iter200, fit_interceptFalse) lasso.fit(self.D, x) return lasso.coef_.reshape(-1, 1) def update_dict(self): 块坐标下降更新字典 for _ in range(self.n_iter): for j in range(self.k): if self.A_cum[j, j] 1e-8: continue # 计算 u_j u (self.B_cum[:, j:j1] - self.D self.A_cum[:, j:j1]) / self.A_cum[j, j] self.D[:, j:j1] # 归一化 norm np.linalg.norm(u) if norm 1e-8: self.D[:, j:j1] u / norm def partial_fit(self, x): 在线更新一步 a self.sparse_code(x) self.A_cum a a.T self.B_cum x a.T self.update_dict() self.t 1 def fit_batch(self, X, n_epochs1): 按小批量流式训练 for epoch in range(n_epochs): for i in range(X.shape[1]): self.partial_fit(X[:, i:i1])这段代码的核心逻辑在partial_fit里先对当前样本做稀疏编码得到a然后用外积更新A_cum和B_cum最后调用update_dict做块坐标下降。update_dict里的u计算对应 2.2 节的公式self.D self.A_cum[:, j:j1]是 $D A_{cum}[:,j]$ 的实现。注意A_cum[j,j]是标量除法直接广播。参数方面lambda_sparse控制稀疏度值越大稀疏码越稀疏字典原子更新越慢。经验值信号维度 $m100$ 时取 0.1 到 0.5$m1000$ 时取 0.5 到 2.0。n_iter一般设 1 就够设大了收敛快但每步计算量线性增长。n_atoms通常取 $2m$ 到 $4m$太小重构误差大太大容易过拟合且计算量高。3.3 跑通一个合成信号实验用合成数据验证代码是否正确。生成一个稀疏信号字典 $D_{true}$ 是 $50 \times 100$ 的随机归一化矩阵稀疏码只有 5% 非零重构信号加 1% 高斯噪声。np.random.seed(42) m, k_true, n 50, 100, 2000 D_true np.random.randn(m, k_true) D_true / np.linalg.norm(D_true, axis0, keepdimsTrue) A_true np.random.randn(k_true, n) * (np.random.rand(k_true, n) 0.05) X D_true A_true 0.01 * np.random.randn(m, n) # 在线字典学习 learner OnlineDictionaryLearner(n_atoms100, lambda_sparse0.1) learner.init_dict(X[:, :100]) learner.fit_batch(X, n_epochs3) # 评估重构误差 A_est np.zeros((100, n)) for i in range(n): A_est[:, i:i1] learner.sparse_code(X[:, i:i1]) X_rec learner.D A_est err np.linalg.norm(X - X_rec, fro) / np.linalg.norm(X, fro) print(f相对重构误差: {err:.4f})跑完三轮相对重构误差通常在 0.05 到 0.12 之间。如果误差超过 0.2检查lambda_sparse是不是太大导致稀疏码全零或者n_atoms太小。这个实验的意义是验证代码没有矩阵维度错误和更新逻辑错误。真实数据上误差会更高因为真实信号不一定严格稀疏。4. 参数调优与流式场景的工程适配4.1 三个必调参数稀疏度、原子数、更新轮数lambda_sparse是最敏感的。它直接决定稀疏码的非零个数。在振动信号去噪任务里我一般先跑一个批量 Lasso 确定大致范围固定字典用初始的 $D$对一批样本做 Lasso看重构误差和稀疏度的曲线拐点。拐点对应的alpha就是在线版本的起点。然后在这个值附近做网格搜索步长取 0.05。注意在线字典学习的lambda和批量 Lasso 的alpha不完全等价因为字典在变但数量级一致。n_atoms的选择有个经验公式$k \approx 2m \log(m)$ 在理论上保证过完备性但实际用 $k 2m$ 到 $4m$ 就够。太大不仅慢还会导致字典原子之间高度相关稀疏编码不稳定。我见过有人设 $k10m$结果字典里一半原子几乎不被激活纯属浪费。n_iter控制字典更新强度。设 1 时每来一个样本字典只微调一次适合非平稳信号设 3 到 5 时字典收敛更快适合平稳信号。但设大了有个副作用如果新样本是异常值字典会被带偏。我一般设 1配合一个异常检测前置模块把重构误差超过阈值 3 倍的样本直接丢弃。4.2 小批量与遗忘因子逐样本更新虽然内存最省但矩阵乘法效率低。工程上更常用小批量每批 32 到 256 个样本。批量大小对收敛的影响批量越大梯度估计越准但字典更新频率越低。在非平稳场景下批量太大会导致字典跟不上变化。我的做法是批量取 64同时引入遗忘因子 $\rho$# 带遗忘因子的累积矩阵更新 rho 0.99 # 遗忘因子越接近 1 记忆越长 A_cum rho * A_cum A_batch A_batch.T B_cum rho * B_cum X_batch A_batch.T遗忘因子的作用是让旧样本的贡献随时间指数衰减。$\rho1$ 时等价于标准在线字典学习$\rho0.95$ 时大约 20 批之前的样本贡献降到 36%。在工况漂移的工业场景里$\rho$ 取 0.95 到 0.99 比较合适。太小会导致字典遗忘旧模式太大则对新工况响应慢。这个参数没有理论最优值得根据数据漂移速度试。4.3 字典初始化的影响在线字典学习对初始化比批量 K-SVD 敏感。如果初始字典全是随机噪声前几百个样本的稀疏码质量很差累积矩阵会被污染。我的做法是用前 5% 的样本跑一次批量 K-SVD 或 PCA 初始化字典然后再切到在线模式。如果数据量太小连 5% 都不够至少用随机选列加归一化的方式不要用全零或全随机。另一个技巧是预热阶段前 500 个样本只更新累积矩阵不更新字典。等累积矩阵有一定统计量了再开始字典更新。这样字典从第一步就是稳定的。预热样本数取 $5k$ 到 $10k$ 比较合适$k$ 是原子数。5. 避坑与排查在线字典学习代码的五个血泪教训5.1 字典原子范数爆炸或塌缩现象跑了几千步后字典某些列的范数远大于 1或者接近 0稀疏码出现 NaN。原因update_dict里归一化步骤被跳过或写错。常见错误是A_cum[j,j]接近零时直接除导致数值爆炸。另一个原因是lambda_sparse太小稀疏码几乎不稀疏累积矩阵条件数极差。解决在归一化前加保护if norm 1e-8并且每次更新后强制检查np.linalg.norm(D, axis0)是否都在 1 附近。如果发现某列范数持续偏离把它重置为随机方向并归一化。lambda_sparse不要低于 0.01除非你确认信号非常稀疏。5.2 稀疏编码返回全零向量现象sparse_code返回的a全是零A_cum和B_cum不再更新字典停滞。原因lambda_sparse太大Lasso 把所有系数压缩到零。或者字典原子与当前样本的内积太小Lasso 认为没有原子值得激活。解决先检查lambda_sparse是否超过np.max(np.abs(D.T x))。如果是调小lambda或增大字典原子数。另一个办法是在 Lasso 里设positiveFalse并降低alpha同时用warm_startTrue加速。如果样本本身能量极低考虑做归一化后再编码。5.3 累积矩阵数值溢出现象跑了几万步后A_cum和B_cum的元素变得极大浮点精度丢失字典更新失效。原因没有遗忘因子累积矩阵随样本数线性增长。float64在元素超过 $10^{15}$ 时精度严重下降。解决引入遗忘因子 $\rho 1$或者每隔固定步数对累积矩阵做一次缩放A_cum / 2; B_cum / 2。缩放不改变字典更新方向因为更新公式里分子分母同时缩放。我一般每 10000 步缩放一次配合 $\rho0.99$ 双保险。5.4 字典更新顺序导致震荡现象重构误差在相邻批次之间大幅波动字典原子来回翻转。原因块坐标下降按列顺序更新如果原子之间高度相关后面的更新会抵消前面的。n_iter设太大时尤其明显。解决每轮更新前随机打乱列顺序或者用n_iter1并降低学习率。另一个办法是在更新公式里加动量项u 0.9 * u_prev 0.1 * u_new。动量能平滑更新轨迹但会引入额外超参数。我一般先试随机打乱不行再加动量。5.5 流式场景下字典遗忘旧模式现象新数据重构误差低但旧数据重构误差飙升字典完全偏向最新工况。原因遗忘因子太小或者批量太大导致旧样本被快速覆盖。解决调大 $\rho$ 到 0.995 以上或者维护一个回放缓冲区每次更新时混入少量旧样本。回放缓冲区大小取 1000 到 5000 个样本按时间倒序采样。这个做法借鉴了经验回放的思想在非平稳信号里效果显著。代价是内存增加但相比全量缓存还是小得多。6. 进阶技巧用重构误差做在线异常检测在线字典学习跑通之后一个自然的延伸是用重构误差做异常检测。正常样本能被字典稀疏表示重构误差小异常样本偏离字典张成的子空间重构误差大。这个思路在工业质检和网络入侵检测里很常见。具体做法维护一个重构误差的滑动窗口计算均值和标准差。当前样本的重构误差超过均值加 3 倍标准差时标记为异常。但直接这样做有个问题字典在更新重构误差的基线也在漂移。我的做法是用指数加权移动平均EWMA跟踪基线class AnomalyDetector: def __init__(self, learner, alpha0.01, threshold3.0): self.learner learner self.alpha alpha self.threshold threshold self.ewma None self.ewmstd None def update(self, x): a self.learner.sparse_code(x) x_rec self.learner.D a err np.linalg.norm(x - x_rec) if self.ewma is None: self.ewma err self.ewmstd err * 0.1 else: self.ewma (1 - self.alpha) * self.ewma self.alpha * err self.ewmstd (1 - self.alpha) * self.ewmstd self.alpha * abs(err - self.ewma) self.learner.partial_fit(x) return err self.ewma self.threshold * self.ewmstdalpha控制基线跟踪速度取 0.01 时大约 100 个样本更新一次基线。threshold取 3 到 5取决于对误报的容忍度。注意异常样本不应该参与字典更新否则字典会被异常值污染。上面的代码在检测到异常后仍然调用了partial_fit实际使用时应该改成只在正常时更新。这个方案的边界如果异常模式持续出现且频率高字典会慢慢把异常模式也学进去检测器失效。解决办法是定期用正常样本重新初始化字典或者维护两个字典——一个慢速更新的主字典和一个快速更新的辅助字典用两者的重构误差差异做检测。辅助字典遗忘因子更小对新模式响应快主字典遗忘因子接近 1保持长期记忆。两者误差都大才是真异常。我在一个轴承故障检测项目里用这个双字典方案误报率从单字典的 8% 降到 2.3%漏报率从 12% 降到 4.1%。代价是计算量翻倍但在这个场景里完全可接受。参数上主字典 $\rho0.999$辅助字典 $\rho0.95$批量大小都是 64lambda_sparse主字典 0.5、辅助字典 0.3。这些值不是通用的换场景得重新调。最后说个习惯每次改完代码先用合成数据跑一遍确认重构误差在合理范围再上真实数据。合成数据能暴露 90% 的矩阵维度错误和更新逻辑错误省下大量调试时间。希望帮到你。本文还有配套的精品资源点击获取