人工智能机器学习深度学习概率编程【免费下载链接】pyroDeep universal probabilistic programming with Python and PyTorch项目地址https://gitcode.com/gh_mirrors/py/pyro点击查看免费下载本文以 docs/source/nn.rst 为骨架系统讲解 Pyro 深度学习概率编程中pyro.nn模块的两大核心内容一是可被 Pyro 效应effect修改属性的PyroModule及其配套的PyroParam、PyroSample、pyro_method用于把普通 PyTorch 网络贝叶斯化二是面向密度估计与归一化流的自回归网络AutoRegressiveNN/ConditionalAutoRegressiveNN与稠密网络DenseNN/ConditionalDenseNN。读完本文你将掌握如何声明带约束的可学习参数、如何为模块声明随机先验并直接接入 SVI 与 autoguide以及如何为AffineAutoregressive、AffineCoupling等变换构造 hypernetwork。一、pyro.nn模块概览pyro.nn提供在深度概率编程语境下有用的神经网络模块实现。它对外导出的全部符号集中在 pyro/nn/init.pyfrom pyro.nn.auto_reg_nn import AutoRegressiveNN, ConditionalAutoRegressiveNN, MaskedLinear from pyro.nn.dense_nn import ConditionalDenseNN, DenseNN from pyro.nn.module import PyroModule, PyroModuleList, PyroParam, PyroSample, pyro_method即四大类成员类别成员所在源文件概率化模块基类PyroModule、PyroModuleList、PyroParam、PyroSample、pyro_methodpyro/nn/module.py自回归网络AutoRegressiveNN、ConditionalAutoRegressiveNN、MaskedLinearpyro/nn/auto_reg_nn.py稠密网络DenseNN、ConditionalDenseNNpyro/nn/dense_nn.pypyro.nn的实现位于pyro顶层包之下与pyro.distributions、pyro.infer、pyro.poutine等模块协作网络产生的输出通常作为变换的 hypernetwork而PyroModule则在pyro.infer.autoguide例如AutoNormal、AutoDiagonalNormal的内部实现大量使用PyroModule与PyroParam见 pyro/infer/autoguide/guides.py中被用作 guide 的载体。二、PyroModule属性可被 Pyro 效应修改的nn.Module2.1 核心思想PyroModule是torch.nn.Module的子类其特殊之处在于属性可以被 Pyro 效应effect修改。要创建一个poutine 感知的属性可以用PyroParam结构体声明可学习参数或用PyroSample结构体声明随机量from torch.distributions import constraints import torch from pyro.nn import PyroModule, PyroParam, PyroSample import pyro.distributions as dist my_module PyroModule() my_module.x PyroParam(torch.tensor(1.), constraintconstraints.positive) my_module.y PyroSample(dist.Normal(0, 1))在读取my_module.x时会触发一次pyro.param语句读取my_module.y时会触发一次pyro.sample语句从而把模块属性纳入 Pyro 的 trace 体系。一个重要的使用约定与普通torch.nn.Module不同PyroModule不应再注册到pyro.module语句中。一个PyroModule内部可以包含其他PyroModule与普通torch.nn.Module访问其中的普通nn.Module属性时会自动触发pyro.module语句。如果单个 Pyro 模型或 guide 中出现多个PyroModule它们应当统一放进同一个根PyroModule下。2.2 PyroParam声明 Pyro 管理的可学习属性PyroParam与pyro.param类似用于声明由 Pyro 管理的可学习参数。构造参数如下参数含义默认值init_value张量eager 初始化或返回张量的可调用对象lazy 初始化或None作为装饰器使用无constrainttorch 约束例如constraints.positiveconstraints.realevent_dim最右侧非批量维度batch 维度个数若参数语句位于子采样 plate 内参数的对应 batch 维度会被相应子采样不指定则所有维度都视为事件维度、不做子采样None三种用法示例来自 pyro/nn/module.py 的PyroParam文档my_module.x PyroParam(torch.zeros(4)) # eager 初始化 my_module.y PyroParam(lambda: torch.randn(4)) # lazy 初始化 my_module.z PyroParam(torch.ones(4), # eager 约束 event_dim constraintconstraints.positive, event_dim1)PyroParam还实验性地支持作为惰性初始化属性上的装饰器使用被装饰的属性像普通property一样被访问class MyModule(PyroModule): PyroParam def x(self): return torch.zeros(4) PyroParam def y(self): return torch.randn(4) PyroParam(constraintconstraints.real, event_dim1) def z(self): return torch.ones(4) def forward(self): return self.x self.y self.z # 像 property 一样访问PyroParam在__setattr__时通过_unconstrain见 pyro/nn/module.py 中的_unconstrain函数把约束空间的值变换为无约束参数存储为name_unconstrained的torch.nn.Parameter读取时再用transform_to(constraint)映射回约束空间。这正是 tests/nn/test_module.py 中test_constraints所验证的行为module.x始终满足constraint_.check(module.x).all()。2.3 PyroSample声明 Pyro 管理的随机属性PyroSample与pyro.sample类似用于声明随机属性。其prior参数可以是分布对象也可以是以self模块实例为唯一参数、返回分布或确定性值的函数my_module.x PyroSample(Normal(0, 1)) # 独立 my_module.y PyroSample(lambda self: Normal(self.x, 1)) # 依赖 my_module.z PyroSample(lambda self: self.y ** 2) # 确定性依赖三种先验形式说明形式含义分布对象独立先验读取时触发pyro.sample返回分布的函数依赖先验可引用其他属性如self.loc、self.scale读取时触发pyro.sample返回确定性张量的函数确定性依赖读取时触发pyro.deterministic同样支持实验性装饰器写法class MyModule(PyroModule): PyroSample def x(self): return Normal(0, 1) # 独立 PyroSample def y(self): return Normal(self.x, 1) # 依赖 PyroSample def z(self): return self.y ** 2 # 确定性依赖 def forward(self): return self.z关于采样缓存有两个关键机制来自PyroModule文档与 pyro/nn/module.py 的_Context实现缓存范围采样结果在单次.__call__()调用或被pyro_method装饰的方法调用内被缓存跨调用不缓存因此每次forward会重新采样trace 唯一性由于一个 sample 语句在一条 Pyro trace 中只能出现一次对随机属性的 trace 访问必须被包在单次.__call__()或pyro_method装饰的方法内。_Context类通过active计数、cache字典与used标志实现这一上下文生命周期管理。2.4 与参数存储param store的同步机制PyroModule会在每次setattr、getattr、delattr事件发生时根据属性的嵌套名称与全局参数存储param store同步数据规则如下设置mod.x x_init先尝试从 param store 读取x若找到值则把存储值拷贝进mod并忽略x_init否则把x_init同时写入mod与 param store。读取mod.x先尝试从 param store 读取x若找到则拷贝进mod否则把mod的值写入 param store最终mod与 param store 就同一个值达成一致并返回。删除del mod.x同时从mod与 param store 移除该值。由此得到一个值得注意的持久化语义两个同名的PyroModule会与同一个全局 param store 同步因而包含相同的数据。创建模块后删除、再用同名创建一个新模块时新模块会被旧数据填充。要避免这种持久化可以在删除PyroModule之前调用pyro.clear_param_store()或clear(mod)。此外Pyro 还提供了一个module_local_params设置通过pyro.settings注册见 pyro/nn/module.py 顶部的_validate_module_local_params开启后参数不再写入全局 param store而是随模块本地保存该模式与torch.func.functional_call兼容见 tests/nn/test_module.py 的test_functorch_pyroparam但不支持在 PyroModule 内使用全局pyro.param语句test_local_param_global_behavior_fails会抛出NotImplementedError。2.5 Mixin 用法把现有模块变成贝叶斯模块PyroModule可以作为 mixin 类使用并支持动态创建 mixin 的简便语法。以下两种写法等价# 版本 1创建具名 mixin 类 class PyroLinear(nn.Linear, PyroModule): pass m.linear PyroLinear(m, n) # 版本 2创建动态 mixin 类 m.linear PyroModulenn.Linear该记号可递归用于构建贝叶斯模块例如把一个完整 MLP 概率化model PyroModulenn.Sequential, PyroModule[nn.Sigmoid](), PyroModulenn.Linear, PyroModule[nn.Sigmoid](), PyroModulenn.Linear, ) assert isinstance(model, nn.Sequential) assert isinstance(model, PyroModule) # 对第一层权重施加贝叶斯先验 model[0].weight PyroSample( priordist.Normal(0, 1).expand([28 * 28, 100]).to_event(2)) guide AutoDiagonalNormal(model)注意PyroModule[...]不会递归把子模块自动变成PyroModule所以上面的nn.Sequential需要逐层手动包装。要就地把现成的第三方模块转换成PyroModule无需修改第三方代码可使用to_pyro_module_(m, recurseTrue)model nn.Sequential( nn.Linear(28 * 28, 100), nn.Sigmoid(), nn.Linear(100, 100), nn.Sigmoid(), nn.Linear(100, 10), ) to_pyro_module_(model) assert isinstance(model, PyroModule[nn.Sequential]) assert isinstance(model[0], PyroModule[nn.Linear]) # 现在可以对全部参数施加独立正态先验实现全贝叶斯 for m in model.modules(): for name, value in list(m.named_parameters(recurseFalse)): setattr(m, name, PyroSample(priordist.Normal(0, 1) .expand(value.shape) .to_event(value.dim()))) guide AutoDiagonalNormal(model)to_pyro_module_通过把m.__class__改成PyroModule[m.__class__]、再重注册参数与子模块来原地改变类型pyro/nn/module.py。tests/nn/test_module.py 中的test_to_pyro_module_与test_bayesian_gru把nn.GRU转换成贝叶斯 GRU 并验证两次前向输出不同都验证了这条路径。PyroModule还可以作为把现有模块概率化的基类例如重写nn.Linear的权重为先验采样class RandomLinear(nn.Linear, PyroModule): # 作为 mixin 使用 def __init__(self, in_features, out_features): super().__init__(in_features, out_features) self.weight PyroSample( lambda self: dist.Normal(0, 1) .expand([self.out_features, self.in_features]) .to_event(2))对于ModuleList类容器Pyro 提供了专门的PyroModuleList(torch.nn.ModuleList, PyroModule)子类它对切片索引__getitem__做了覆盖返回普通torch.nn.ModuleList避免嵌套切片索引时丢失父模块的_pyro_name上下文而导致的采样参数命名错误修复动机见 pyro/nn/module.py 中对PyroModuleList的注释。test_module_list断言PyroModule[torch.nn.ModuleList] is pyro.nn.PyroModuleList。2.6 pyro_method为顶层方法开启 Pyro 效应与缓存pyro_method装饰器用于PyroModule的顶层公开方法使这些方法在调用时进入_pyro_context从而启用 Pyro 效应并缓存pyro.sample语句。forward()不需要该装饰器.__call__已自动管理上下文但所有其他读取 Pyro 管理属性的公开方法都应当加上class MyModule(PyroModule): def forward(self): return [self.gather(), self.gather()] # 两次读取在单次调用内共享缓存 pyro_method def gather(self): return {a: self.a, b: self.b}tests/nn/test_module.py 的test_cache验证了缓存行为同一次module()调用内重复读取返回同一个对象跨调用则重新采样。2.7 保存与加载PyroModule可以两种方式持久化直接用torch.save/torch.load用 param store 的save/load方法间接保存。注意torch.load的结果会被 param store 中的值覆盖因此加载前最稳妥的做法是pyro.clear_param_store()。tests/nn/test_module.py 的test_torch_serialize_attributes、test_torch_serialize_decorators与test_pyro_serialize分别验证了 torch 序列化与 param store 序列化两条路径的一致性。三、AutoRegressiveNN 与 ConditionalAutoRegressiveNNMADE 风格自回归网络3.1 定位与原理AutoRegressiveNN是 MADEMasked Autoencoder for Distribution Estimation风格的自回归神经网络实现ConditionalAutoRegressiveNN是它的可输入额外上下文变量的版本条件 MADE 的结构说明见论文 Inference Networks for Sequential Monte Carlo in Graphical Models。其核心是masked 权重网络只允许第 i 个输入变量影响第 j 个输出变量j ≥ i从而天然满足自回归分解且雅可比矩阵呈三角结构适合用作归一化流normalizing flow的变换网络。底层构件是 pyro/nn/auto_reg_nn.py 中的三个函数/类sample_mask_indices(input_dim, hidden_dim, simple)为隐藏单元采样 MADE mask 的索引simpleTrue时按四舍五入均匀间隔分配simpleFalse时随机舍入create_mask(...)根据输入维度、上下文维度、隐藏层维度与排列permutation构造输入层到隐藏层、隐藏层之间、隐藏层到输出层以及跳跃连接的 maskMaskedLinear(in_features, out_features, mask, biasTrue)在nn.Linear基础上把权重与给定 mask 逐元素相乘后再做线性映射forward中执行self.weight * self.mask。3.2 构造参数两个网络共享同一组参数AutoRegressiveNN内部以context_dim0调用ConditionalAutoRegressiveNN参数含义默认值input_dim输入变量维度必填context_dim条件变量的维度仅条件版本必填条件版hidden_dims各隐藏层的单元数list必填param_dims把输出拆分为若干个参数维度为(p_n, input_dim)p_n 1时或(input_dim)p_n 1时[1, 1]输出两个(input_dim,)参数适合逆自回归流 IAFpermutation应用于输入的可选排列控制自回归分解的顺序单位排列时雅可比为上三角默认随机选取skip_connections是否从输入到输出添加跳跃连接Falsenonlinearity前馈网络的非线性如torch.nn.ReLU()最后一层不施加非线性输出为无界实数nn.ReLU()约束条件每个隐藏维度不得小于输入维度否则无法正确连接到输出ConditionalAutoRegressiveNN的构造函数会抛出ValueError当input_dim 1时会给出考虑改用仿射变换的警告。3.3 输出形状与典型用法AutoRegressiveNN的典型用法pyro/nn/auto_reg_nn.py 中的 doctestx torch.randn(100, 10) arn AutoRegressiveNN(10, [50], param_dims[1]) p arn(x) # 1 个参数形状 (100, 10) arn AutoRegressiveNN(10, [50], param_dims[1, 1]) m, s arn(x) # 2 个参数形状均为 (100, 10) arn AutoRegressiveNN(10, [50], param_dims[1, 5, 3]) a, b, c arn(x) # 3 个参数形状 (100, 1, 10), (100, 5, 10), (100, 3, 10)条件版本则在forward(x, contexty)时额外接收上下文x torch.randn(100, 10) y torch.randn(100, 5) arn ConditionalAutoRegressiveNN(10, 5, [50], param_dims[1, 1]) m, s arn(x, contexty) # 2 个参数形状均为 (100, 10)条件版本的前向会把context广播到x的 batch 形状并拼接在输入末尾torch.cat([context, x], dim-1)输出重塑为[batch..., output_multiplier, input_dim]后按param_dims切片拆包all_ones时用torch.unbind压缩参数维。3.4 在归一化流中的实际角色AutoRegressiveNN在 Pyro 的变换库中充当自回归流与神经自回归流的 hypernetworkAffineAutoregressivepyro/distributions/transforms/affine_autoregressive.pyAffineAutoregressive(AutoRegressiveNN(10, [40]))直接用它输出每组仿射系数NeuralAutoregressivepyro/distributions/transforms/neural_autoregressive.pyAutoRegressiveNN(10, [40], param_dims[16]*3)输出 3 组宽度为 16 的权重/偏置构造深度 sigmoid 自回归网络条件版ConditionalAutoRegressiveNN则对应ConditionalAffineAutoregressive等条件变换。正因为param_dims决定每组参数的大小把param_dims[1, 1]用于仿射自回归流、把param_dims[width]*3用于神经自回归流是两种最典型的配置。四、DenseNN 与 ConditionalDenseNN通用稠密 hypernetwork4.1 定位DenseNN是一个简单的前馈稠密网络ConditionalDenseNN是其接受上下文变量的版本适用于ConditionalAffineCoupling、ConditionalPlanarFlow等条件流以及AffineCoupling、Householder、MatrixExponential等不需要自回归结构的无条件流。与自回归网络的关键区别在于不使用 mask输出是普通全连接层的结果再按param_dims拆分为若干个参数。4.2 构造参数与输出形状参数含义默认值input_dim输入维度必填context_dim条件变量维度仅条件版本必填条件版hidden_dims各隐藏层单元数list必填param_dims输出参数维度(p_n,)p_n 1时或()p_n 1时[1, 1]nonlinearity前馈网络非线性最后一层无非线性torch.nn.ReLU()ConditionalDenseNN的用法示例来自 pyro/nn/dense_nn.py 的 doctestinput_dim 10 context_dim 5 x torch.rand(100, input_dim) z torch.rand(100, context_dim) nn ConditionalDenseNN(input_dim, context_dim, [50], param_dims[1, input_dim, input_dim]) a, b, c nn(x, contextz) # 3 个参数形状 (100, 1), (100, 10), (100, 10)DenseNN不带上下文内部以context_dim0调用ConditionalDenseNNinput_dim 10 context_dim 5 z torch.rand(100, context_dim) nn DenseNN(context_dim, [50], param_dims[1, input_dim, input_dim]) a, b, c nn(z) # 3 个参数形状 (100, 1), (100, 10), (100, 10)4.3 在变换库中的实际角色DenseNN系网络在 pyro/distributions/transforms 中广泛作为 hypernetworkAffineCouplingDenseNN(split_dim, [10*input_dim], param_dims)输出仿射耦合的平移/缩放参数ConditionalAffineCouplingConditionalDenseNN(split_dim, context_dim, [10*input_dim], param_dims)Householder、MatrixExponentialDenseNN(context_dim, [50, 50], param_dims)输出反射向量或矩阵指数系数GeneralizedChannelPermuteDenseNN(context_dim, hidden_dims, param_dims[channels*channels])输出置换矩阵参数。五、从源码与测试出发的验证与最佳实践5.1 测试佐证Pyro 为pyro.nn配备了较完整的测试tests/nn/test_module.py覆盖PyroModule的 SVI 冒烟测试test_svi_smoke模型/guide 各含nn.Parameter、PyroParam、PyroSampletrace 中能捕捉到param节点并完成 3 步svi.step、约束保持test_constraints、采样缓存test_cache、装饰器用法test_decorator、动态 mixintest_mixin_factory并验证序列化往返、to_pyro_module_test_to_pyro_module_、贝叶斯 GRUtest_bayesian_gru、ModuleList 切片索引test_module_list以及module_local_params两种模式下的行为差异tests/nn/test_autoregressive.py验证AutoRegressiveNN的自回归性质与形状正确性。这些测试既是使用方式的权威示例也可以作为读者在自己的环境里复现pyro.nn行为的入口。5.2 工程注意事项单根模块原则同一模型/guide 中的所有PyroModule应挂在同一个根PyroModule下否则无法计算出完整嵌套名称_pyro_get_fullname要求_pyro_context已used。同名持久化删除同名PyroModule后重建会从 param store 恢复旧数据必要时先pyro.clear_param_store()。sample 语句唯一性随机属性的 trace 访问必须包在单次.__call__()/pyro_method方法内保证采样缓存与 trace 语义一致。隐藏层维度下限AutoRegressiveNN的每个hidden_dims元素必须不小于input_dim。普通nn.Module与PyroModule混用PyroModule内的普通nn.Module属性在访问时自动触发pyro.module语句无需手动注册。5.3 一条完整的贝叶斯化 流工作流把本节内容串联起来一个典型用法是用to_pyro_module_/PyroModule[...]把网络贝叶斯化用PyroSample施加权重先验配合AutoDiagonalNormal等 autoguide 做 SVI同时用AutoRegressiveNN/DenseNN构造归一化流变换得到带噪声的贝叶斯神经网络或密度估计器。两条能力线分别在 pyro/infer/autoguide/guides.pyguide 内部以PyroModule/PyroParam组织参数与 pyro/distributions/transforms变换内部消费AutoRegressiveNN/DenseNN的输出中落地。结语pyro.nn是 Pyro 把深度神经网络接入概率编程体系的桥梁PyroModule家族让任何 PyTorch 模块都能被pyro.param/pyro.sample/pyro.module效应管理从而无缝参与 trace、SVI 与 autoguideAutoRegressiveNN与DenseNN家族则为归一化流提供自回归或稠密的 hypernetwork。围绕 docs/source/nn.rst 展开的这份指南配合 pyro/nn/module.py、pyro/nn/auto_reg_nn.py、pyro/nn/dense_nn.py 的源码与 tests/nn/test_module.py 的测试用例可以让你在最短时间内把这些模块正确地用于自己的贝叶斯深度学习模型中。赞分享人工智能机器学习深度学习概率编程【免费下载链接】pyroDeep universal probabilistic programming with Python and PyTorch项目地址https://gitcode.com/gh_mirrors/py/pyro点击查看免费下载相关推荐AMReX高级特性探索从EB几何到高性能计算的全面解析AMReX高级特性探索从EB几何到高性能计算的全面解析 AMReX作为一款强大的结构化自适应网格细化AMR软件框架为科学计算和工程模拟提供了高效、灵活的终极指南D2L.ai贝叶斯深度学习如何通过不确定性估计提升模型可靠性终极指南D2L.ai贝叶斯深度学习如何通过不确定性估计提升模型可靠性 贝叶斯深度学习是机器学习领域的重要分支它将贝叶斯方法与深度神经网络相结合能够提供可靠文档教程人工智能深度学习NLP计算机视觉强化学习Pyro贝叶斯神经网络实战指南如何高效处理大规模图数据Pyro贝叶斯神经网络实战指南如何高效处理大规模图数据 Pyro是一个基于PyTorch的深度概率编程框架专门用于构建和训练贝叶斯神经网络。作为强大的概率编人工智能机器学习深度学习概率编程上一篇ImageProcessingRuby开发者的图像处理终极解决方案下一篇14个CS231N核心主题详解借助CS231N_17_KOR_SUB字幕高效学习创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考