简介面向光学神经网络设计与性能评估的仿真包neuroptica-master适用于机器学习、光子计算交叉领域的研究者和工程师帮助在无需构建物理硬件的条件下快速验证衍射光学元件、MZI网络等典型架构。资源共39个文件包含21个Python源码覆盖组件、层、损失函数、优化器、模型等核心模块11个RST文档提供项目说明与API文档另有YAML配置、Makefile、License等配套内容压缩包仅2.41MB。已有214人学习浏览。包内预置模块化光学组件库和多种仿真模型支持网络结构配置、参数自动优化与结果可视化可灵活评估光学神经网络在不同输入下的识别率与计算速度。同时附带示例代码和测试用例覆盖从组件搭建到模型训练的完整流程便于从零上手并自行扩展新组件。适合作为光学神经网络方向的基础实验工具用于算法预研、教学演示与性能对比。1. 光学神经网络仿真包到底在仿真什么先想清楚这三层再动手很多团队拿到一个名为“用于光学神经网络的灵活仿真包”的 zip 压缩包之后第一反应是用光学追迹软件的习惯去打开它结果发现里面不是光路图而是一堆 python 文件和 yaml 配置。这里有个反直觉的结论这类光学神经网络仿真包本质上是把“光场传播的物理模型”和“神经网络训练的可微计算图”绑在一起的训练框架不是传统意义上的光学设计工具。它解决的是衍射神经网络、马赫-曾德尔干涉仪网络这类结构的同一个痛点参数空间太大靠手调光学结构根本调不动必须让梯度直接穿过“衍射、干涉、相位调制”这些物理过程来更新设计参数。它适合两类人一类是做光子芯片/空间光调制器系统的工程师需要快速验证结构参数能不能达到预期另一类是算法工程师想在没有流片条件的情况下先验证光学计算模型的可行性。看懂这个包要从“物理模型、可微计算图、训练策略”三层同时入手缺一层都会翻车。2. 从标量衍射到可微张量仿真包的核心计算模型与选型理由2.1 光场传播的三种近似菲涅尔、夫琅禾费、角谱法怎么选一个仿真包“灵活”不灵活首先要看它内置了哪几种传播模型。绝大多数包绕不开三个名字菲涅尔衍射、夫琅禾费衍射、角谱法Angular Spectrum Method。它们都是标量衍射理论的不同近似区别在于计算代价和适用范围。菲涅尔衍射用一次快速傅里叶变换就能实现适合传播距离不远、孔径尺寸与波长差距明显的场景。夫琅禾费是菲涅尔在远场条件下的退化形式可以理解成一次缩放后的傅里叶变换常用于透镜焦平面分析。但在光学神经网络里最常用的是角谱法它在频域里乘一个传递函数不引入近轴近似距离范围几乎没有限制代价是两次傅里叶变换加一次复指数乘法。三个模型的适用场景不是玄学可以用一个简单判断如果传播距离和孔径特征尺寸处于同一个量级或者你需要在近场准确复现干涉图案老老实实用角谱法。如果只是做系统级链路预算菲涅尔就够。仿真包如果只实现了菲涅尔遇到多层衍射结构就会出现明显的相位误差累积。2.2 为什么必须“可微”训练-仿真闭环与自动微分传统光学软件和光学仿真包之间最本质的差别是后者把“物理层”包成了可微算子。没有可微性你就没法把分类损失反传到相位掩模参数上整个包就退化成验证工具而不是设计工具。常见做法是用 PyTorch 作为计算后端把光学层写成 nn.Module。光场的正向传播是输入场经过相位掩模调制再做一段衍射传播探测器面取光强得到输出向量。光强对相位参数的梯度通过 torch.autograd 自动生成训练循环和普通神经网络没有区别。这里有一个选择要点尽量选那些把“传播算子”和“器件层”解耦的仿真包。有些包把菲涅尔传播写死在网络层里看起来简单一旦你想换角谱法或者加入振幅调制模块就得改核心计算代码这种包不灵活。一个合理的包设计应当是传播函数只接收复数场、距离、波长、像素尺寸和网格尺寸器件层只负责对场做振幅或相位调制两者可以自由组合。2.3 合格仿真包的目录结构从 zip 解压后的第一眼判断包好不好用拿到 zip 后别急着 import先看目录结构。一个敢自称“灵活”的仿真包文件组织必须让你一眼分清楚物理模型和网络模块的边界。我一般会解压后先跑一次 tree长这样. ├── README.md ├── requirements.txt ├── setup.py ├── onn_sim/ │ ├── __init__.py │ ├── propagation.py # 角谱法/菲涅尔传播算子 │ ├── layers.py # 相位掩模、振幅掩模、MZI 模块 │ ├── materials.py # 折射率、色散、吸收系数 │ ├── dataset.py # MNIST 等光场输入封装 │ └── train.py # 训练入口 ├── configs/ │ └── default.yaml ├── tests/ │ └── test_propagation.py └── examples/ └── dnn_mnist.py这个结构说明包做了三件正确的事propagation.py 独立存放传播算子layers.py 只定义可学习参数与调制逻辑dataset.py 负责任意图像到光场的转换。如果你的包没有 tests 目录或者 examples 里只有一个脚本没有对应配置文件后续改代码时心里要有数维护成本可能比较高。requirements.txt 也要第一眼看。光学网络仿真一般依赖 numpy、scipy、torch如果还依赖了 tensorflow 或 jax说明包作者可能做过多套后端适配这种包的可移植性好但调试时也要小心两套后端的张量语义差异。setup.py 里如果有 entry_points说明支持命令行训练入口方便做超参扫描。3. 从 zip 到跑通第一个衍射神经网络最小可用环境与逐行解释3.1 解压、装依赖、验证安装一张自检清单zip 包的解压本身就有坑后面专门讲。这里先给一张安装自检清单第一确认 Python 版本在 3.8 以上很多仿真包用到了 dataclasses 和 typing 的新特性Python 3.7 会出现奇怪的语法报错第二确认 torch 版本与 requirements.txt 的约束不冲突尤其是 torch.fft 模块它在 torch 1.7 之后才是稳定 API第三直接运行 examples 里的脚本而不是先跑 tests。我习惯先创建一个虚拟环境再装依赖python -m venv onn_env source onn_env/bin/activate pip install -r requirements.txt pip install -e . --no-deps cd examples python dnn_mnist.py --epochs 1安装部分有两个参数值得说明pip install -e . 是以可编辑模式安装本地包这样你改源码不需要重新安装--no-deps 是避免与 requirements.txt 重复解析依赖用第一行已经装好的环境。examples 脚本如果默认跑 100 个 epoch先改成 1 个 epoch 验证链路再拉长时间。这一步能过滤掉 80% 的环境问题。3.2 手写一个最小相位掩模衍射层代码与参数说明不管仿真包里封装得多好我建议每个人都亲手写一个最小的衍射层。这段代码用角谱法实现单层相位掩模传播是后续看懂包内实现的基础import torch import torch.nn as nn import torch.fft as fft class DiffractiveLayer(nn.Module): def __init__(self, shape(64, 64), wavelength532e-9, pixel_size8e-6, distance100e-3): super().__init__() self.shape shape self.wavelength wavelength self.pixel_size pixel_size self.distance distance # 可学习的相位掩模初始化为 [-pi, pi] 均匀分布 self.phase nn.Parameter( (torch.rand(shape) - 0.5) * 2 * torch.pi ) def _propagation_kernel(self, device): # 角谱传递函数 H exp(j*k*z*sqrt(1 - (lambda*fx)^2 - (lambda*fy)^2)) H, W self.shape fx fft.fftfreq(H, dself.pixel_size).to(device) fy fft.fftfreq(W, dself.pixel_size).to(device) FX, FY torch.meshgrid(fx, fy, indexingij) k 2 * torch.pi / self.wavelength term 1 - (self.wavelength * FX) ** 2 - (self.wavelength * FY) ** 2 term term.clamp(min0) # 倏逝波部分直接截断避免复数开方 H_kernel torch.exp(1j * k * self.distance * torch.sqrt(term)) return H_kernel def forward(self, field): # 透过相位掩模场幅度不变相位累加 field field * torch.exp(1j * self.phase) # 角谱传播频域乘传递函数 H_kernel self._propagation_kernel(field.device) field fft.ifft2(fft.fft2(field) * H_kernel) return field这段代码里的几个参数决定了仿真结果的物理正确性。shape 是横向网格点数通常取 64、128 或 256太小会让衍射图案被栅格采样抹平wavelength 是入射光波长仿真包默认值往往按 532nm 绿光标定换波长一定要同步改pixel_size 是每个采样单元对应的物理尺寸它和 shape 共同决定频域的最高空间频率distance 是掩模面到观察面的距离控制衍射条纹的尺度。forward 里的乘法用到了 torch 的复数张量支持。如果包内代码还在用 float32 实部和虚部分开的旧写法也能跑但新代码建议直接走 complex64显存占用少一半代码也简洁。这里没有写光强探测是因为探测器的平方律操作一般放在网络最后一层与损失函数分离方便在不同任务间复用。3.3 MNIST 复算的投入产出先单层再多层大多数光学仿真包的 examples 都是 MNIST因为这是光学神经网络领域的公共基准。但复算 MNIST 有它的陷阱。MNIST 原始图是 28×28 灰度直接送入 64×64 的网格要么补零要么插值。补零会引入大量无效区域降低空间光调制器的有效填充因子插值则会让数字边缘变模糊影响分类精度。我的一般做法是把输入图像缩放到 32×32再在 64×64 网格中心放置四周补零。这样既保留了数字的结构又让衍射有足够的扩展空间。第一层网络用单层衍射加一个线性分类器验证整个训练管线可以收敛到 85% 左右然后才叠加到两层、三层。每增加一层训练收敛速度都会显著变慢所需 epoch 数大约翻倍。如果第一个单层模型都达不到 85%问题大概率在光场表示或学习率而不是网络深度。4. 五个必调参数和它们的物理含义仿真结果可信度的分水岭拿到仿真包后真正决定你工作质量的是参数配置。很多人玄学调参本质是不清楚每个参数背后的物理约束。这里整理五个最先要动的参数参数常见取值物理含义调试方向grid_size64 / 128 / 256横向采样格点数欠采样导致高频衍射信息丢失pixel_size8µm 量级每个单元物理尺寸与空间光调制器像元匹配wavelength532nm入射波长决定衍射尺度与材料色散distance50~200mm传播距离影响菲涅尔数与能量分布padding2x~4x孔径四周补零量抑制边界伪影与能量反射4.1 采样率与欠采样为什么你的仿真结果比实验好仿真精度比实验高这在光学神经网络里不是好事。最常见的原因是采样率不足导致的欠采样高频衍射分量在频域折叠回低频损失函数误以为这些信息仍然存在仿真准确率自然虚高。判断方法很简单连续增大 grid_size 一倍如果准确率变化超过 2%说明原来的网格已经欠采样。经验准则是网格尺寸要能容纳传播距离内衍射扩展后的光场范围。角谱法默认是周期性边界条件场传播到边缘后会从对侧绕回这在物理上对应的是孔径之外的无限重复阵列不是孤立掩模。应对办法是补零 padding把计算网格扩展到原来的 2~4 倍。很多仿真包在 examples 里省略了这一步直接照抄会得到边界伪影。4.2 边界吸收与孔径截断边缘伪影从哪来角谱法周期性边界带来的“绕回”效应比大多数人想象的严重得多。两层衍射网络里第一层边缘泄漏的能量会在第二层重新进入中心区域表现为输出图像的规则网格状条纹。这不是实验中的真实物理现象而是仿真网格的数值伪影。解决方法是引入边界吸收。常见做法是在振幅场上乘一个超高斯窗口让边缘场强平滑衰减到接近于零。推荐窗口指数取 4 到 6过陡会引入新的衍射结构过缓则吸收不彻底。窗口半径取网格尺寸的 40% 到 45%既保留中心有效区域又给衰减留足空间。4.3 相位调制深度与材料色散量化精度陷阱相位掩模的调制范围应该严格限制在 0~2π 之间。超过这个范围相位值会被折叠回 -π 到 π仿真结果看起来正常但换算成实际器件厚度时会出错。一个常见的坑是网络训练后学出的相位分布超过 2π 边界如果直接按相位值乘以固定系数换算厚度会在边界处出现非物理的跳变。材料色散是另一个容易被忽略的参数。仿真包默认折射率差值往往针对某个固定波长如果你的应用场景是宽带光源或通信波段必须确认包内是否内置了 Sellmeier 色散模型。没有色散模型的多波长仿真本质上是在用一个等效折射率欺骗自己。4.4 训练参数学习率、初始化与批大小光学神经网络的收敛行为与普通 CNN 有明显差异。相位参数是周期性的在 2π 边界处梯度方向会发生跳变Adam 优化器通常比 SGD 更适合这种参数空间。学习率初始值推荐 1e-3配合余弦退火而不是固定学习率。相位初始化要避免全零或常数值。全零相位相当于没有调制网络在初始阶段只能靠衍射传播本身提取特征收敛极慢。随机均匀初始化 U(-π, π) 是最安全的起点但要注意多层网络时每层的随机相位会叠加成更强的散射需要适当降低初始幅度。批大小在光学仿真里有一个特殊性显存占用。复数场的实部虚部各占一个 float3264×64 网络单层传播的中间张量就接近 1MB堆叠多层后批大小一旦超过 16显存压力比同尺寸的普通 CNN 大得多。优先用小批加梯度累积而不是直接加大单批。4.5 输入光场表示连续波与脉冲的等效处理仿真包里的输入光场表示有两种约定复数场幅度或者强度相位。大多数包的 MNIST 示例把灰度当作振幅输入但实际光学系统里空间光调制器通常调制的是强度或相位不是复振幅。这个差异会导致训练出的网络在实验台上表现明显退化。处理时要确认包内的输入 field 用的是复数场还是实数强度。如果包把灰度图直接当复数场的幅度使用没有缩放因子你需要自己在 dataset 类里做归一化把输入强度换算成等效振幅否则第一层的物理能量就不守恒。5. 光学仿真包避坑手册从解压到收敛的 5 个真实翻车现场5.1 解压报错“需要密码”zip 伪加密现象从网上下载的光学仿真包 zip 用 Windows 自带解压时弹出密码输入框但下载页面和 README 都没提供任何密码换 7-Zip 却能直接打开。原因这是 zip 伪加密。压缩包的目录区里加密标志位被置位但数据实际没有加密常见于从分享平台转存的压缩包。网上流传的“zip 密码移除”工具能强行打开但这类工具往往同时会破坏压缩包的 CRC 校验解压出来的 python 文件可能已经损坏运行时报 syntax error 都算轻的。解决优先用 7-Zip 打开它会识别出伪加密并直接列出文件。如果确认包内文件能正常预览就全选解压。看到 import 阶段出现 UnicodeDecodeError 或 EOFError不要怀疑是自己的环境问题先重新解压一次。5.2 训练 loss 卡在 0.3 附近不动只更新了相位没更新振幅现象衍射神经网络 loss 在前几百个 iteration 正常下降之后停滞在 0.3 左右无论怎么调学习率都不动。原因仿真包里只有相位掩模是可学习参数振幅掩模被写死成常量。因为传播距离内的光场能量分布在不断变化振幅固定会限制网络的可达函数空间。很多开源的相位-only 模型确实应该在某个精度上限附近收敛但收敛位置明显低于预期时先查模型定义里的 nn.Parameter 列表。解决在掩模层里同时定义振幅参数或者把输出层换成带 bias 的全连接层给模型一个补偿自由度。我在调试时会让模型打印每层参数的梯度范数如果相位梯度范数小于 1e-4说明模型进入了局部平台需要检查是不是振幅通道缺失。5.3 仿真准确率 99%实验台只有 80%默认参数按理想条件标定现象同一套网络结构仿真包在测试集上达到 99%换成空间光调制器实验系统后掉到 80%而且错误样本集中在特定类别上。原因仿真包的默认参数是按理想平面波、无像差、无噪声条件标定的。真实激光器输出的是高斯光束空间光调制器有相位量化误差探测器有热噪声。更关键的是仿真包默认的 pixel_size 与实验台的空间光调制器像元尺寸不一致导致衍射距离对应的强度分布形态不同。解决先把仿真里的入射场改成高斯光束模型再把 pixel_size 和 wavelength 改成实验硬件参数。如果包内没有高斯光束模型可以在输入场乘一个高斯幅度包络半宽取光斑半径。这一项改动通常能拉回 5 到 10 个百分点的差距。5.4 显存溢出复数域的张量比你想的占空间现象一个 128×128 三层衍射网络batch size 16训练到第二个 epoch 直接 OOM。原因复数张量在 PyTorch 里即使使用 complex64 存储也占据两个 float32 空间。角谱传播需要 fft2 的中间结果多层叠加后激活值比同尺寸 CNN 大出 3 到 4 倍。很多仿真包为了兼容旧代码内部还会把复数场拆成实部和虚部分别存储显存占用再翻一倍。解决不用改传播代码先把 batch size 降到 4配合梯度累积模拟大 batch。再把 torch.backends.cuda.matmul.allow_tf32 关掉避免复数乘法在半精度下出现误差。如果预算允许优先升级显存而不是减少网格尺寸因为采样率降低会直接影响仿真可信度。5.5 传播代码报错 shape mismatch尺寸漂移现象单层仿真正常多层网络传播时在第二层报错提示频域网格尺寸与输入场尺寸不一致。原因中间层在传播后做了裁剪或插值导致场尺寸与初始化时的 shape 不一致。很多仿真包的 propagation 函数返回的场尺寸与输入相同但探测器层会把输出裁剪到目标区域这个裁剪结果再传给下一层时网格坐标就错了。解决在每一层 forward 的入口加一个断言检查 field.shape 是否等于 self.shape。如果不等先用中心补零或中心裁剪统一尺寸。不要依赖自动广播复数场的广播规则在傅里叶变换前很容易引发静默错误。6. 把仿真结果换算成真实器件两个必做的验证技巧仿真包跑通之后最忌讳的是一头扎进训练调参而忽略物理验证。我带团队时给自己定了两条硬规矩所有传播算子在上线前必须过两关数值梯度验证和能量守恒验证。数值梯度验证用 torch.autograd.gradcheck 跑一次。它会把解析梯度与有限差分梯度做对比误差超过阈值就报错。这里要注意输入场必须是 complex128网格尺寸先用 16×16 的小规模否则有限差分会慢到让人怀疑人生from torch.autograd import gradcheck layer DiffractiveLayer(shape(16, 16)).double() field torch.randn(16, 16, dtypetorch.complex128, requires_gradTrue) # 验证 forward 的解析梯度与数值梯度是否一致 gradcheck(layer, (field,), eps1e-6, atol1e-4)能量守恒验证更简单记录输入场的总能量 sum(|E_in|^2)传播后的总能量 sum(|E_out|^2)两者比值应接近 1。如果这个比值小于 0.99要么是边界吸收窗口开得过大要么是倏逝波截断影响了总能量。这个误差不是训练能弥补的它代表物理模型本身有泄漏所有后续结果都不可信。两条验证都通过后相位分布才值得被换算成实际器件厚度。相位到厚度的换算公式是t φλ / (2πΔn)其中 Δn 是材料在目标波长下的折射率差。如果相位值超过 2π换算前先做取模否则会得到超厚的非物理结构。移植到实验台时我还习惯把仿真里的灰度掩模输出成 bit 图避免在打印或截图过程中丢失相位精度。这些验证逻辑在我经手的多个项目里挡住过不止一次把仿真当实验的翻车。光学神经网络仿真包的价值在于它能把“设计、训练、验证”的循环压缩到个人电脑上但前提是你清楚哪些数字是物理可信的哪些只是网格上的巧合。希望帮到你。本文还有配套的精品资源点击获取