过去十年里AI 行业最反常的一件事不是算力增长了多少倍而是一大批“理论上不该好用”的模型真的在真实世界跑通了。一个典型场景你用几十亿参数的 Transformer 做微调训练集每条样本被反复看过几十遍训练 loss 甚至可以压到 0.001。按照经典统计学习理论这种“过参数化 死记硬背”的组合早就该在验证集上崩盘了。可现实是只要数据分布不离谱模型在未见过的数据上依然表现良好。这个现象困扰了研究者很多年也直接困惑着每一个调参到深夜的工程师。Andrew Wilson 教授纽约大学库朗数学科学研究所的那场演讲The Reason AI Models Work讨论的正是这个问题AI 模型为什么能工作这绝不是一个“锦上添花”的理论问题它直接决定你该怎么选架构、怎么配超参、怎么判断一个模型可不可信以及当训练 loss 和验证指标打架时你到底该信谁。这篇文章不打算逐字复述视频字幕而是把演讲背后的核心研究脉络拆成几条主线再用三个可以在普通笔记本上跑通的最小实验把“过参数化为什么还能泛化”“网络为什么先学低频”“平坦极小值为什么更稳”这些结论落到代码上。读完以后你会发现 AI 工程实践里很多“玄学”其实都有一条相对清晰的第一性原理解释。1. 这篇文章真正要解决的问题先把这个悖论说清楚。传统机器学习理论非常依赖“模型容量不能太大”这个前提。VC 维、Rademacher 复杂度、偏差-方差权衡本质上都在讲同一件事模型越灵活越容易把训练集的噪声也学进去从而在测试集上翻车。按照这个逻辑一个参数数量远超样本数量的深度神经网络训练误差低到趋近于零时泛化误差应该高到无法使用。但 2017 年的一篇经典论文把这个问题摆上了台面研究者让深度网络去拟合随机打乱的标签网络确实能硬背下来但在真实标签上训练时它又表现出了很好的泛化能力。这说明两个事实同时成立深度网络有足够能力记住任何映射但梯度下降并没有选择“记住”这条路而是找到了一种能泛化的特殊解。换句话说模型能不能工作关键不在于容量上限而在于优化过程把解推到了函数空间里的哪个位置。这个问题的现实意义比想象中更大。算法工程师每天面对的很多判断本质上都在回答它的某个侧面训练 loss 已经很低了为什么验证集还在掉点为什么同样一个模型换成大 batch 训练后效果变差为什么 early stopping 总能改善泛化为什么大模型规模越大、数据越多表现越可预测这些问题看起来是工程经验背后其实是同一个理论内核神经网络和梯度下降的组合自带了一套很强的“先验”。这篇文章要做的就是把这套先验拆开再用实验验证给你看。2. 核心原理AI 模型能工作的底层逻辑要理解“为什么 AI 模型能工作”需要同时接受几个看似矛盾的事实。下面按五条主线逐一展开。2.1 过参数化不是 bug而是 feature经典观点认为参数越多越容易过拟合。但对深度网络来说过参数化反而让优化问题变得更“好解”并且解本身带有强烈的隐式偏置。这里的核心机制是当参数数量远大于训练样本数量时损失函数的最优解构成一个高维流形。梯度下降从这个流形中选中哪一个点取决于初始化和优化路径而不是随机均匀选择。大量实验表明SGD 倾向于收敛到“简单”的函数——尽管这个“简单”很难被经典复杂度指标比如参数个数刻画。一个更精确的表述是**深度学习的泛化能力来自优化器的隐式正则化而不是模型架构本身的容量限制。**这也是为什么修改优化器、学习率策略、batch 大小会比增加正则化项更显著地改变泛化表现。2.2 归纳偏置简单、平滑、低频优先神经网络到底偏好什么样的函数近年研究给出了几个相互印证的答案简单性偏置simplicity bias在能拟合训练数据的所有解里网络倾向于选择复杂度最低的那个。这里的复杂度不是参数量而是函数在某种意义下的“弯曲程度”或描述长度。谱偏置spectral bias训练过程中网络先拟合目标函数的低频成分再慢慢学习高频成分。这相当于一个从“粗糙到精细”的学习过程也解释了为什么 early stopping 能防止过拟合——高频成分往往对应样本噪声。平滑性偏好即使使用 ReLU 这类分段线性激活函数深层网络组合出来的函数也通常是 Lipschitz 连续的输入的小扰动不会导致输出剧烈变化。这三条偏置合在一起构成了神经网络泛化的第一块基石**它不是万能函数拟合器而是一个“偏好简单平滑函数”的拟合器。**面对真实世界的数据信号通常有结构、有平滑性这个偏好恰好和任务匹配。2.3 梯度下降的隐式正则化与平坦极小值另一个关键发现是SGD 找到的极小值点其“形状”和泛化能力直接相关。所谓平坦极小值flat minima可以通俗理解为损失曲面上一个“盆地很宽”的低点。在这个点附近权重即使被扰动损失也不会大幅上升。与之相对尖锐极小值sharp minima是一个“山峰上的针尖”权重稍微一动损失就剧烈反弹。大量研究表明SGD 在小 batch 设置下倾向于收敛到平坦区域而大 batch 训练更容易落入尖锐区域这正好对应了大 batch 训练常见的泛化差距。由此引出一个实用结论**如果能让模型收敛到更平坦的极小值泛化往往更好并且这种改善经常是“白嫖”的。**比如随机权重平均SWAStochastic Weight Averaging这类方法只是对训练后期的多个 checkpoint 做权重平均就能得到更宽的优化盆地和更好的测试表现。Wilson 教授与合作的 NeurIPS 2020 论文《Bayesian Deep Learning and a Case for Old-Fashioned Methods》进一步指出很多复杂的贝叶斯近似方法实际效果不一定比“深度集成 SWA 边际似然调参”这类朴素手段更好。这对工程实践是一个重要提醒先试简单可靠的方法再考虑上复杂方案。2.4 宽网络的核方法视角与高斯过程第三条理解路径来自理论视角当神经网络的宽度趋于无穷时它的行为可以被精确描述。随机初始化的无限宽网络在函数空间上对应一个高斯过程Neal 1996之后被 Lee 等人 2017 年推广到深度网络。用梯度下降训练无限宽网络等价于用神经网络正切核NTKNeural Tangent Kernel做核回归Jacot 等人 2018。这个视角的意义在于**在特定极限下深度学习回归到了一个我们完全理解的经典模型——核方法。**它解释了一部分“为什么深网络能工作”的问题宽网络本质上在做一种高维空间里的平滑函数估计核的选取决定了相似性度量。但 NTK 视角有一个致命局限它无法解释特征学习。真实训练中网络内部特征在持续演化而不是固定在一个初始核上。这也是为什么 Wilson 教授的研究路线更倾向于用贝叶斯深度学习和深度核学习来理解深度网络而不是停留在 NTK 简化上。对工程师来说这一节的实用启示是把深度网络理解成“在学习核/kernel 的核方法”很多关于相似度、数据分布、外推失效的现象会更直观。2.5 数据的低维结构与规模化定律最后一块拼图是数据本身。真实世界的数据虽然处于高维空间一张 224×224 的图片有 15 万维但它们往往集中在某个低维流形上——自然图像、语音、文本都有强烈的结构约束。神经网络通过层层特征变换实际上在做一件事**把数据从高维原始空间映射到一个低维、线性可分、语义紧凑的表示空间。**这也解释了为什么数据增强有效它是在人为注入“数据流形上的不变性”先验。另一条更工程化的规律是规模化定律scaling laws。从 GPT 系列到各类大模型实验反复验证了一个现象当模型参数量、训练数据量、计算量按幂律增长时测试 loss 会沿着一条可预测的曲线下降。这直接改变了 AI 工程的决策方式——我们可以先在小规模上拟合出一条 scaling 曲线再外推估算大规模训练需要多少数据和算力。综合这五条主线可以给出一个相对完整的判断AI 模型能工作不是因为神经网络有“万能近似”的魔法而是因为真实数据有低维结构神经网络的归纳偏置与梯度下降的隐式正则化恰好匹配这种结构并且规模化规律让这种匹配沿着可预测的方向持续增强。3. 原理如何影响工程决策理论不是用来背的是用来做决策的。下面这张表把常见的工程现象、背后的原理、以及对应的动作串起来。工程现象背后原理推荐动作训练 loss 很低验证 loss 很高模型在拟合高频噪声隐式正则不足加 weight decay、early stopping、数据增强大 batch 训练效果总比小 batch 差大 batch 更容易落入尖锐极小值减小 batch或用 warmup SWA 缓解模型在分布外OOD数据上崩了数据流形之外没有先验支撑明确部署边界不要盲目外推训练早期 loss 下降迅速后期变慢先学低频后学高频符合谱偏置后期提升学习率精度或分段学习率大模型训练预算难以估计scaling law 具有可预测性先小规模拟合曲线再外推预算复杂贝叶斯方法收益不明显朴素方法SWA、集成已覆盖主要收益先上 SWA / 深度集成再考虑复杂方案其中两个决策特别值得展开。第一**early stopping 不是“提前认输”而是谱偏置的直接应用。**训练过程先学到的是信号低频结构后学到的是噪声高频细节。在验证 loss 停止下降时停住本质上是利用梯度下降的隐式偏置正好卡在“信号学完、噪声还没开始”的窗口。第二**数据增强不是“多造点样本”而是显式注入先验。**随机裁剪告诉模型“物体位置不影响类别”颜色抖动告诉模型“光照不影响语义”。这些先验在理论上等价于把模型约束到真实数据流形的局部不变性上比单纯加 L2 正则更能直接缩小假设空间。4. 环境准备与实验设计下面三个实验只需要一台普通电脑CPU 即可跑完不依赖 GPU。建议使用 Python 3.10 以上版本和 PyTorch 2.x。python -m venv .venv source .venv/bin/activate pip install torch numpy matplotlib建议项目目录结构如下ai-models-work/ ├── experiment1_overfit.py ├── experiment2_spectral_bias.py ├── experiment3_flat_minima.py └── requirements.txt三个实验的定位分别对应前文的三条主线实验一过参数化 显式简单性偏置观察插值解是否平滑泛化。实验二观察谱偏置验证“网络先学低频”。实验三对比普通 SGD 解和 SWA 平均权重解验证平坦极小值的鲁棒性。实验中固定随机种子是为了让结果可复现。如果你改了 seed 或者换到 GPU数值会有差异但趋势应当一致。5. 核心实验复现三个最小示例5.1 实验一过参数化模型在插值区间的泛化这个实验构造一个最简单的“过参数化插值”场景目标函数是光滑的sin(2πx)训练集只采样 20 个点测试集密集采样 1000 个点。模型是一个宽 256 的两层 MLP参数数量远大于样本数量。代码文件experiment1_overfit.pyimport numpy as np import torch import torch.nn as nn torch.manual_seed(0) np.random.seed(0) def build_mlp(width256): return nn.Sequential( nn.Linear(1, width), nn.ReLU(), nn.Linear(width, width), nn.ReLU(), nn.Linear(width, 1), ) X_tr torch.linspace(-1.0, 1.0, 20).view(-1, 1) y_tr torch.sin(2 * torch.pi * X_tr) X_te torch.linspace(-1.0, 1.0, 1000).view(-1, 1) y_te torch.sin(2 * torch.pi * X_te) def train(model, epochs3000, lr0.01, weight_decay0.0, batch_size8): opt torch.optim.SGD(model.parameters(), lrlr, weight_decayweight_decay) loss_fn nn.MSELoss() n X_tr.shape[0] for epoch in range(epochs): perm torch.randperm(n) for i in range(0, n, batch_size): idx perm[i:i batch_size] opt.zero_grad() loss loss_fn(model(X_tr[idx]), y_tr[idx]) loss.backward() opt.step() return model model_wd train(build_mlp(), weight_decay1e-3) model_nwd train(build_mlp(), weight_decay0.0) with torch.no_grad(): train_rmse_wd np.sqrt(np.mean((model_wd(X_tr) - y_tr).numpy() ** 2)) train_rmse_nwd np.sqrt(np.mean((model_nwd(X_tr) - y_tr).numpy() ** 2)) test_rmse_wd np.sqrt(np.mean((model_wd(X_te) - y_te).numpy() ** 2)) test_rmse_nwd np.sqrt(np.mean((model_nwd(X_te) - y_te).numpy() ** 2)) print(f训练 RMSE (有 weight decay): {train_rmse_wd:.4f}) print(f训练 RMSE (无 weight decay): {train_rmse_nwd:.4f}) print(f测试 RMSE (有 weight decay): {test_rmse_wd:.4f}) print(f测试 RMSE (无 weight decay): {test_rmse_nwd:.4f})关键逻辑两个模型的训练 RMSE 都可能很低因为过参数化但weight_decay相当于显式施加“参数小 函数平滑”的先验帮助梯度下降在无数插值解中选中更简单、更平滑的那个。如果无正则模型在测试集上表现很差说明它选择了“在采样点之间剧烈振荡”的复杂插值函数如果差异不明显说明这个随机种子下隐式偏置已经足够强可以适当增大网络宽度或增加训练轮数再对比。5.2 实验二谱偏置——网络先学低频目标函数由低频和高频两部分叠加y sin(1.5x) 0.5·sin(12x)。我们每隔若干轮计算一次模型输出与低频部分、高频部分的相关系数观察两者何时被学到。代码文件experiment2_spectral_bias.pyimport numpy as np import torch import torch.nn as nn torch.manual_seed(0) np.random.seed(0) N 2048 X torch.rand(N, 1) * 4.0 - 2.0 # 区间 [-2, 2] y_low torch.sin(1.5 * X) y_high 0.5 * torch.sin(12.0 * X) y y_low y_high model nn.Sequential( nn.Linear(1, 512), nn.ReLU(), nn.Linear(512, 1), ) opt torch.optim.Adam(model.parameters(), lr0.002) loss_fn nn.MSELoss() for epoch in range(3000): opt.zero_grad() pred model(X) loss loss_fn(pred, y) loss.backward() opt.step() if (epoch 1) % 500 0: with torch.no_grad(): pred_np pred.numpy().ravel() corr_low np.corrcoef(pred_np, y_low.numpy().ravel())[0, 1] corr_high np.corrcoef(pred_np, y_high.numpy().ravel())[0, 1] print(fepoch {epoch 1:4d} | loss {loss.item():.4f} f| corr_low {corr_low:.3f} | corr_high {corr_high:.3f})关键逻辑高频分量对输入的小扰动极其敏感而 ReLU 网络的梯度下降天然优先拟合那些“函数值随输入平缓变化”的低频模式。实验预期会看到corr_low很快接近 1而corr_high延迟很久才追上。这正是 early stopping 有效的底层原因也是理解“为什么训练集上的高频噪声会被最后学会”的直观证据。5.3 实验三平坦极小值与权重扰动鲁棒性SWA 的核心操作很朴素对训练后期的多个 checkpoint 做权重平均。由于线性插值在损失曲面上的特性平均后的权重往往落在更平坦的区域。我们用“给权重加高斯噪声后测试 loss 上升多少”来度量平坦程度。代码文件experiment3_flat_minima.pyimport numpy as np import torch import torch.nn as nn torch.manual_seed(0) np.random.seed(0) def build_mlp(): return nn.Sequential( nn.Linear(1, 128), nn.ReLU(), nn.Linear(128, 128), nn.ReLU(), nn.Linear(128, 1), ) X_train torch.linspace(-1, 1, 50).view(-1, 1) y_train torch.sin(3 * X_train) X_test torch.linspace(-1.2, 1.2, 800).view(-1, 1) y_test torch.sin(3 * X_test) def train_with_checkpoints(epochs2000, lr0.01, save_every200): model build_mlp() opt torch.optim.SGD(model.parameters(), lrlr, momentum0.9) loss_fn nn.MSELoss() checkpoints [] for epoch in range(epochs): opt.zero_grad() loss loss_fn(model(X_train), y_train) loss.backward() opt.step() if (epoch 1) % save_every 0: checkpoints.append({k: v.clone() for k, v in model.state_dict().items()}) return model, checkpoints def averaged_model(checkpoints, k5): model build_mlp() last_k checkpoints[-k:] avg {} for name in last_k[0]: avg[name] torch.mean( torch.stack([ckpt[name] for ckpt in last_k]), dim0 ) model.load_state_dict(avg) return model single, ckpts train_with_checkpoints() avg averaged_model(ckpts, k5) def perturbation_test(model, sigma0.03, trials30): state {k: v.clone() for k, v in model.state_dict().items()} losses [] model.eval() with torch.no_grad(): for _ in range(trials): for k, v in model.state_dict().items(): if v.dim() 2: v.data.add_(torch.randn_like(v) * sigma) losses.append(nn.MSELoss()(model(X_test), y_test).item()) model.load_state_dict(state) return float(np.mean(losses)) with torch.no_grad(): rmse_single np.sqrt(nn.MSELoss()(single(X_test), y_test).item()) rmse_avg np.sqrt(nn.MSELoss()(avg(X_test), y_test).item()) print(f单模型测试 RMSE: {rmse_single:.4f}) print(f平均权重测试 RMSE: {rmse_avg:.4f}) print(f单模型扰动后测试 MSE: {perturbation_test(single):.4f}) print(f平均权重扰动后测试 MSE: {perturbation_test(avg):.4f})关键逻辑最后 5 个 checkpoint 的平均权重相当于 SWA 的简化版本。测试 RMSE 上平均权重通常不差于单模型甚至更好。扰动测试上如果平均权重处于更平坦的盆地权重加噪声后 loss 上升幅度会显著小于单模型。这个实验可以直接推广到生产场景如果你在训练结束后发现验证指标不稳定先别急着换架构试试对最后若干个 checkpoint 做权重平均成本几乎为零。6. 运行结果与效果验证三个实验的运行方式一致python experiment1_overfit.py python experiment2_spectral_bias.py python experiment3_flat_minima.py预期输出模式如下具体数值随平台、PyTorch 版本会有波动重点看相对趋势实验关键预期实验一有 weight decay 的模型训练 RMSE 低且测试 RMSE 明显更低无 weight decay 的模型可能在训练点上“抖”得厉害实验二500 epoch 时 corr_low 明显高于 corr_high3000 epoch 时两者都接近 1实验三平均权重测试 RMSE ≤ 单模型扰动后 MSE 显著小于单模型扰动后 MSE判断实验成功不能只看训练 loss。三个实验的正确指标分别是测试 RMSE、低频与高频相关系数、权重扰动后的测试 MSE。如果某个实验输出不符合预期按第 7 节的排查顺序走而不是直接换随机种子重跑。7. 常见问题与排查思路问题现象可能原因排查方式解决方案实验一里两个模型测试 RMSE 都很低该随机种子下隐式正则已经足够强或网络宽度不够大打印训练曲线观察无正则模型是否在训练点上剧烈振荡增加宽度到 512或把训练轮数提高到 8000或改用更大的学习率实验二里高频相关系数始终不高学习率过大导致训练不收敛或高频振幅太小打印每个阶段的 loss确认 loss 在持续下降降低学习率到 0.001或延长训练到 6000 epoch实验三里 SWA 优势不明显扰动 sigma 太小或 checkpoint 间隔过大尝试把 sigma 从 0.03 提高到 0.08缩短 checkpoint 间隔同时增大 sigma并让最后几个 checkpoint 间隔更近CPU 上训练过慢网络宽度太大训练轮数太多观察单 epoch 耗时缩小宽度到 64或减少轮数到 1000趋势不变即可结果与文章不一致PyTorch 版本、MKL 线程数、随机数实现有差异固定torch.manual_seed与np.random.seed记录版本号关注“趋势”而非“精确数值”必要时重复多次取平均实验三加载平均权重后 loss 异常模型结构初始化与 checkpoint 结构不一致检查build_mlp()是否被调用两次且结构相同把averaged_model改为传入同结构、不重新初始化的模型8. 最佳实践与工程建议**把归纳偏置当成第一等公民。**在训练深度模型时你真正调的不是“模型”而是“先验”。weight decay 是参数范数先验数据增强是不变性先验early stopping 是复杂度先验网络结构是函数空间先验。理解这一点后调参会从“瞎试”变成“按先验补缺”。**监控训练/验证 gap而不是只盯训练 loss。**当训练 loss 持续下降而验证 loss 开始回升说明模型已经越过“学完信号、开始学噪声”的临界点。这个临界点与谱偏置直接相关也是 early stopping 的理论依据。**生产环境优先尝试“朴素但有效”的方案。**SWA、深度集成、合理的缩小 batch这些方法成本低、可解释性强、不容易出问题。复杂的贝叶斯近似、复杂的正则化方案应该在朴素方案已经验证无效之后再考虑。Andrew Wilson 教授的 NeurIPS 2020 论文给出的核心信息正是这一点在深度学习这个场景下旧派但朴素的方法往往被严重低估。**用“权重扰动测试”补充模型稳定性评估。**在部署前可以对权重加一个小幅高斯噪声观察模型输出变化。如果变化剧烈说明模型处于尖锐极小值对部署环境的数值扰动、量化、算子替换都会更敏感。这个测试成本极低可以作为 CI 流程里的一环。**规模化决策遵循 scaling law 的边界。**小规模外推大规模预算很有用但要意识到幂律外推只在同一个“数据分布 模型家族”内有效。一旦换了任务分布、换了架构、换了数据质量curve 会重画。避免直接拿别的团队的 scaling 数字套在自己的任务上。**安全与合规同样重要。**所有实验和调参都应该遵循最小权限原则在隔离环境、测试数据上验证不要在生产数据库或真实用户流量上做未经评审的实验。模型评估指标要结合业务场景不能只依赖单一指标做上线决策。9. 总结与后续学习方向这篇文章围绕“AI 模型为什么能工作”这个问题梳理了五条核心解释过参数化配合梯度下降的隐式偏置、简单平滑低频优先的归纳偏置、平坦极小值与优化几何、宽网络与核方法/高斯过程的理论对应、数据低维结构与规模化定律并把其中三条落到了最小可复现代码上。对普通工程师来说最直接可用的结论只有一句话**模型的泛化能力不是凭空出现的而是“数据的低维结构 网络的归纳偏置 优化器的隐式正则”三者匹配的结果。**下次看到接近 0 的训练 loss 时多问两句这个解是平坦的还是尖锐的它学到的是低频结构还是高频噪声如果你想继续深挖这个主题推荐沿着以下方向展开贝叶斯深度学习特别是“用朴素手段逼近贝叶斯推断”的论文脉络Roberts、Yaida、Hanin 合著的The Principles of Deep Learning Theory了解“深度学习的有效理论”视角深度双下降deep double descent现象理解模型容量与泛化之间更复杂的关系深度核学习deep kernel learning以及特征学习与固定核方法的差别。在 arXiv 上搜索上述关键词基本能找到整套原始论文。理论的价值不在于让你背出公式而在于当训练曲线异常时你能比“随机调参”多一层判断力。建议把文中的三个实验脚本保存好下次调参遇到反常识现象时用它们验证一下自己的假设。