简介这份PDF资源是概率图模型领域的经典综述文献由Wainwright与Michael Jordan合著面向机器学习、统计学方向的研究生与科研人员帮助读者系统理解图模型、指数族与变分推断三者的内在联系。资源包内仅含1个PDF文件大小约2.06MB内容完整收录了原刊于《Foundations and Trends in Machine Learning》的长文涵盖从图模型基本形式到指数族表示、共轭对偶、变分表示及各类近似推断算法的完整脉络。文中详细讨论了边际概率与模式概率的计算问题并将sum-product、期望传播、平均场、max-product及线性规划松弛等算法统一到变分框架下理解同时给出与MCMC方法的对比视角。目前已有235人学习适合希望深入掌握概率推断理论、为后续研究或工程实践打牢基础的读者研读。1. 从一份讲义说起图模型、指数族与变分推断到底怎么串起来如果你手头有一份名为 Graphical Models, Exponential Families, and Variational Inference 的讲义或笔记翻了几页发现满屏的 factor graph、sufficient statistics、ELBO、mean-field却不知道这些东西在工程里怎么落地那你不是一个人。我最初接触这套内容时也卡了很久因为大部分材料把三个东西分开讲图模型讲概率图结构指数族讲统计分布的统一形式变分推断讲近似后验的计算方法。但真正让它们产生威力的是把三者串成一条流水线——用图模型描述变量之间的依赖关系用指数族把局部因子写成统一形式再用变分推断在不可解的后验上做可扩展的近似。这条流水线解决的核心问题是当你的概率模型有几千甚至几百万个隐变量、后验分布没有闭式解时怎么还能算出可用的近似推断结果。适合谁做贝叶斯建模的算法工程师、搞概率编程的研发、需要从数据中做隐结构发现的研究者以及任何在真实系统里被“后验算不动”卡住的人。下面我按自己实际搭过的一条链路从图结构讲到指数族表示再讲到变分推断的实现和调参把每一步的参数、代码和踩过的坑都摊开。2. 图模型与指数族把概率模型写成可计算的形式2.1 因子图为什么比有向图更适合做推断概率图模型有三种常见表示有向图贝叶斯网络、无向图马尔可夫随机场和因子图。做推断时我一般优先选因子图原因是它把“变量”和“因子”显式分开每个因子只跟它连接的变量子集有关消息传递的规则因此变得非常统一。举个例子一个简单的隐马尔可夫模型用因子图表示时转移因子和发射因子各自独立前向-后向算法就是在因子图上做消息传递的特例。这种统一性在实现时非常值钱你不需要为每种模型单独写推断代码只需要定义因子和变量之间的连接关系。因子图的数学定义不复杂一个二分图一边是变量节点 ( x_i )一边是因子节点 ( f_a )边表示因子依赖哪些变量。整个联合分布写成所有因子的乘积[ p(\mathbf{x}) \frac{1}{Z} \prod_a f_a(\mathbf{x}_a) ]其中 ( Z ) 是归一化常数( \mathbf{x}_a ) 是因子 ( a ) 连接的变量集合。这个形式看起来简单但它是指数族和变分推断能接上的关键接口。2.2 指数族把因子写成统一形式指数族分布的标准形式是[ p(\mathbf{x}|\boldsymbol{\eta}) h(\mathbf{x}) \exp\left( \boldsymbol{\eta}^T \mathbf{t}(\mathbf{x}) - A(\boldsymbol{\eta}) \right) ]其中 ( \boldsymbol{\eta} ) 是自然参数( \mathbf{t}(\mathbf{x}) ) 是充分统计量( A(\boldsymbol{\eta}) ) 是对数配分函数( h(\mathbf{x}) ) 是基准测度。为什么要在图模型里强调指数族因为一旦每个因子都写成指数族形式整个联合分布的自然参数就是各因子自然参数的求和充分统计量也是各因子统计量的求和。这意味着消息传递时你只需要传递自然参数和统计量不需要反复计算归一化常数。工程上这直接决定了你的推断算法能不能在毫秒级完成一轮迭代。常见的分布几乎都属于指数族高斯、伯努利、泊松、伽马、狄利克雷、多项分布。把模型写成指数族形式后变分推断的更新公式会变得非常规整后面会看到。2.3 用 Python 把因子图转成指数族形式下面这段代码演示如何把一个简单的因子图模型转成指数族表示并计算对数配分函数。我用的是纯 NumPy不依赖概率编程库目的是让你看清每一步在算什么。import numpy as np # 定义充分统计量假设每个变量是伯努利统计量就是 [x, 1-x] def sufficient_stats(x): # x: (N, D) 的 0/1 矩阵 return np.stack([x, 1 - x], axis-1) # shape (N, D, 2) # 对数配分函数伯努利的 A(eta) sum log(1 exp(eta)) def log_partition(eta): # eta: (D, 2) 自然参数 return np.sum(np.log(1 np.exp(eta)), axis-1) # 单个因子的能量eta^T t(x) def factor_energy(eta, x): t sufficient_stats(x) # (N, D, 2) return np.sum(eta * t, axis(-2, -1)) # (N,) # 示例两个变量一个成对因子 np.random.seed(42) N, D 100, 2 x np.random.randint(0, 2, size(N, D)) # 自然参数每个变量两个取值共 D*2 个参数 eta np.array([[0.5, -0.3], [-0.2, 0.8]]) # shape (D, 2) energy factor_energy(eta, x) A log_partition(eta) log_prob energy - A print(前 5 个样本的对数概率:, log_prob[:5]) print(对数配分函数:, A)这段代码的逻辑是先把每个变量的充分统计量算出来然后用自然参数做内积得到能量项最后减去对数配分函数得到归一化后的对数概率。参数说明eta的每一行对应一个变量的自然参数两个元素分别对应 ( x1 ) 和 ( x0 ) 的系数。实际建模时eta不是手动指定的而是通过最大似然或变分推断学出来的。注意指数族形式要求自然参数空间是凸的且对数配分函数是凸函数。如果你手算的eta导致log_partition出现inf或nan先检查参数是否超出了合法范围。2.4 从因子图到指数族的转换检查清单在实际项目里把模型写成指数族形式之前我会先过一遍这个清单检查项说明常见错误充分统计量是否有限维指数族要求统计量维度不随样本量增长把样本均值当统计量但维度爆炸自然参数是否可识别不同参数不能对应同一分布过参数化导致推断不收敛对数配分函数是否可计算至少能算梯度高维离散空间直接求和不可行因子之间是否条件独立因子图结构决定消息传递顺序忽略环路导致消息震荡这张表不是理论装饰是我在调试时真的会逐项打勾的东西。尤其是第三项如果对数配分函数的梯度都算不出来后面的变分推断根本没法做。3. 变分推断从 ELBO 到可运行的坐标上升3.1 ELBO 的推导和直觉变分推断的核心思想是用一个简单的分布 ( q(\mathbf{x}) ) 去近似真实后验 ( p(\mathbf{x}|\mathbf{y}) )通过最大化证据下界ELBO来优化 ( q )。ELBO 的定义是[ \mathcal{L}(q) \mathbb{E}_q[\log p(\mathbf{x}, \mathbf{y})] - \mathbb{E}_q[\log q(\mathbf{x})] ]它等于 ( \log p(\mathbf{y}) - \mathrm{KL}(q | p(\mathbf{x}|\mathbf{y})) )。因为 KL 散度非负所以 ELBO 是边缘似然的下界。最大化 ELBO 等价于最小化 ( q ) 和真实后验之间的 KL 散度。直觉上第一项鼓励 ( q ) 把概率质量放在联合分布高的地方第二项鼓励 ( q ) 保持足够的熵不要塌缩成一个点。这两项的平衡决定了变分推断的行为。3.2 平均场假设和坐标上升更新平均场假设是最常用的变分族假设 ( q ) 可以分解成每个变量独立因子的乘积[ q(\mathbf{x}) \prod_i q_i(x_i) ]在这个假设下最优的 ( q_i(x_i) ) 满足[ \log q_i^*(x_i) \mathbb{E}{q{-i}}[\log p(\mathbf{x}, \mathbf{y})] \text{const} ]如果联合分布是指数族形式这个更新可以写成自然参数的坐标上升每次固定其他变量的期望更新当前变量的自然参数。下面用代码实现一个简单的平均场坐标上升。import numpy as np def mean_field_update(eta, x, max_iter100, tol1e-6): 平均场坐标上升更新每个变量的自然参数 eta: (D, 2) 初始自然参数 x: (N, D) 观测数据 D eta.shape[0] N x.shape[0] eta_new eta.copy() for it in range(max_iter): eta_old eta_new.copy() for i in range(D): # 计算其他变量的期望统计量 # 这里简化为用当前 eta 计算其他变量的后验期望 other_stats np.zeros(2) for j in range(D): if j i: continue # 伯努利后验期望sigmoid(eta_j) p_j 1.0 / (1.0 np.exp(-eta_new[j])) other_stats p_j # 简化只累加期望 # 更新当前变量的自然参数 # 实际公式取决于具体模型这里用梯度上升示意 grad np.zeros(2) for n in range(N): t np.array([x[n, i], 1 - x[n, i]]) grad t - 1.0 / (1.0 np.exp(-eta_new[i])) eta_new[i] 0.01 * grad / N # 检查收敛 if np.max(np.abs(eta_new - eta_old)) tol: print(f在第 {it1} 轮收敛) break return eta_new # 运行 eta_init np.array([[0.1, -0.1], [0.2, -0.2]]) eta_final mean_field_update(eta_init, x) print(更新后的自然参数:\n, eta_final)这段代码演示了坐标上升的骨架外层循环控制迭代轮数内层循环逐个更新每个变量的自然参数。参数说明max_iter是最大迭代轮数tol是收敛阈值学习率0.01需要根据具体问题调整。实际使用时更新公式应该从具体模型的 ELBO 推导出来这里用梯度上升做了简化。提示平均场假设会低估后验方差因为强制独立性忽略了变量之间的相关性。如果你的应用对不确定性量化要求高考虑结构化变分族或 MCMC 混合方法。3.3 收敛诊断怎么知道变分推断跑完了变分推断的收敛诊断比 MCMC 更麻烦因为没有现成的 R-hat。我一般看三个指标第一ELBO 的变化量。连续两轮 ELBO 的相对变化小于 ( 10^{-6} ) 时可以认为收敛但要注意 ELBO 可能陷入局部最优。第二自然参数的变化量。如果参数还在大幅震荡说明学习率太大或者模型不可识别。第三后验预测检查。用训练好的 ( q ) 生成样本看它们和观测数据的统计量是否一致。这一步最花时间但最能暴露模型设定错误。下面是一个简单的收敛诊断代码def elbo_monitor(eta_history, x): 监控 ELBO 变化 elbos [] for eta in eta_history: # 简化 ELBO 计算 A log_partition(eta) energy factor_energy(eta, x).mean() entropy -np.sum(eta * (1.0 / (1.0 np.exp(-eta)))) elbos.append(energy - A entropy) return np.array(elbos) # 假设我们记录了每轮的 eta eta_history [eta_init, eta_final] elbos elbo_monitor(eta_history, x) print(ELBO 序列:, elbos) print(ELBO 变化量:, np.diff(elbos))参数说明eta_history是每轮迭代后的自然参数列表elbo_monitor计算对应的 ELBO 值。如果 ELBO 变化量在正负之间震荡说明学习率需要调小。4. 避坑与排查变分推断落地时最容易翻车的五个地方4.1 现象ELBO 一直下降但后验预测完全不对原因ELBO 的符号搞反了或者对数配分函数的梯度计算有误。变分推断是最大化 ELBO但有些实现里写成了最小化负 ELBO如果符号处理不一致优化器会朝着错误方向走。解决先用手算的小例子验证 ELBO 的符号。取一个一维高斯后验解析计算 ELBO 和梯度和代码输出对比。确认符号一致后再上复杂模型。4.2 现象自然参数更新后出现 NaN原因指数族的自然参数空间不是整个实数空间比如伯努利的自然参数虽然可以取任意实数但对应的概率参数必须在 0 到 1 之间。如果更新步长太大参数跳到极端值exp溢出就会产生 NaN。解决对自然参数做裁剪或者改用对数空间的计算。我一般会在更新后加一行eta np.clip(eta, -20, 20)这个范围对大多数指数族分布够用。4.3 现象平均场假设下后验方差明显偏小原因平均场强制变量独立忽略了后验相关性。如果真实后验中两个变量高度相关平均场会把它们各自的方差压小导致不确定性被低估。解决如果方差估计很重要改用结构化变分族比如让 ( q ) 保留一部分依赖关系。或者用 MCMC 做后验校准把变分结果作为初值。4.4 现象坐标上升收敛到不同结果每次运行都不一样原因坐标上升对初始值敏感尤其是非凸的 ELBO 曲面。不同的初始化会收敛到不同的局部最优。解决多组随机初始化选 ELBO 最高的那组。或者先用 MCMC 跑短链用后验样本的均值作为变分参数的初值。4.5 现象因子图有环时消息传递不收敛原因标准的前向-后向算法只适用于树结构。如果因子图有环消息会循环传播导致震荡或发散。解决使用环状信念传播loopy BP并监控消息变化量或者直接切换到变分推断。变分推断对环状结构更鲁棒因为它不依赖精确的消息传递顺序。5. 进阶技巧用自然梯度加速变分推断5.1 为什么普通梯度在变分推断里效率低变分推断的优化目标是在概率分布空间上最大化 ELBO但普通梯度下降是在欧氏空间里走的。概率分布空间有它自己的几何结构用欧氏梯度会忽略这种结构导致收敛慢、对参数化敏感。自然梯度通过乘以 Fisher 信息矩阵的逆来修正梯度方向使得更新步长在分布空间里是均匀的。对于指数族分布Fisher 信息矩阵恰好是对数配分函数的 Hessian计算起来有闭式解。5.2 自然梯度的实现和参数设置下面是一个自然梯度更新的代码示例用伯努利分布演示def natural_gradient_update(eta, x, lr0.1, max_iter200): 自然梯度上升eta - eta lr * Fisher^{-1} * grad 对于伯努利Fisher 信息矩阵是对角矩阵元素为 p(1-p) D eta.shape[0] N x.shape[0] for it in range(max_iter): grad np.zeros_like(eta) fisher_inv np.zeros_like(eta) for i in range(D): p 1.0 / (1.0 np.exp(-eta[i])) # 普通梯度 for n in range(N): t np.array([x[n, i], 1 - x[n, i]]) grad[i] t - p grad[i] / N # Fisher 信息矩阵的逆对角 fisher_inv[i] p * (1 - p) 1e-8 # 自然梯度更新 eta lr * grad / fisher_inv if it % 50 0: print(f第 {it} 轮eta {eta.flatten()}) return eta eta_ng natural_gradient_update(eta_init.copy(), x) print(自然梯度更新后的参数:\n, eta_ng)参数说明lr是学习率自然梯度下可以比普通梯度设得更大因为 Fisher 矩阵的逆已经做了预条件。1e-8是防止除零的小量。实际使用时Fisher 信息矩阵可能不是对角的需要用 Cholesky 分解或共轭梯度来求逆。5.3 验证自然梯度是否真的更快我一般用两个指标对比达到相同 ELBO 所需的迭代轮数以及每轮的计算时间。自然梯度每轮多了一个 Fisher 矩阵求逆的开销但通常总轮数会少很多。在我的经验里对于中等规模的问题几百个变量自然梯度能把总时间减少 30% 到 50%。注意自然梯度的理论保证依赖于 Fisher 信息矩阵的正定性。如果模型过参数化导致 Fisher 矩阵奇异需要加正则项或者改用阻尼自然梯度。5.4 一个我常犯的错误早期我实现自然梯度时忘了 Fisher 信息矩阵是对称的直接用普通矩阵求逆结果数值不稳定。后来改成 Cholesky 分解加前代回代稳定性好了很多。这个坑不大但调试起来很费时间因为梯度方向错了不会报错只会让收敛变慢。另一个习惯是每次改完更新公式先用一个一维高斯的例子验证。一维情况下所有量都能手算如果代码输出和手算一致再上高维模型。这个习惯帮我省了很多后悔药。希望帮到你。本文还有配套的精品资源点击获取