1. 从零手搓AI工程为什么我不建议你直接调包第一次看到ai-engineering-from-scratch这个项目名的时候我脑子里蹦出来的画面是一个人坐在终端前从矩阵乘法开始一行一行把Transformer搭出来中间不碰任何现成的深度学习框架。后来翻了不少类似定位的开源项目也自己动手复现过几轮才慢慢理解这类“from scratch”工程真正的价值——它不是为了让你在生产环境里抛弃PyTorch而是为了让你在调包调到怀疑人生的时候知道黑盒子里到底发生了什么。这个项目标题拆开来看有三个关键词AI工程、from scratch、从零构建。它瞄准的不是“怎么用LangChain搭一个RAG”也不是“怎么微调一个开源大模型”而是更底层的东西——把AI系统里那些被框架封装掉的环节用最朴素的方式重新实现一遍。适合谁来啃我的判断是三类人一是刚入行、只会调API但说不清反向传播怎么算的工程师二是想转AI方向、但被各种框架抽象层绕晕的后端开发者三是准备面试、需要把“手写注意力机制”这种题讲明白的人。我自己第一次尝试手写一个最小的神经网络时踩的最大的坑不是数学而是工程直觉的缺失。比如为什么权重初始化不能全设成0为什么学习率设大了loss会炸成NaN为什么batch size和显存之间是这么个关系——这些东西调包的时候根本感知不到只有自己从零写一遍才会被现实狠狠教育。所以这篇博文我想把ai-engineering-from-scratch这类项目背后的核心思路、关键实现环节、以及我实际动手时踩过的坑完整地摊开讲一遍。不管你是想自己复现一个还是想理解别人写的from scratch代码应该都能捞到点东西。2. 整体设计思路从零构建AI系统到底在构建什么2.1 先想清楚“零”的边界在哪里“From scratch”这个词其实很模糊。完全不依赖任何库连numpy都不用纯Python列表做矩阵运算那基本没法跑性能差到没法验证。我的经验是合理的“零”应该划在“框架层”而不是“语言层”。也就是说numpy这种基础数值库可以用因为它只是提供了数组和矩阵乘法不涉及任何AI相关的抽象但PyTorch、TensorFlow、JAX这类带自动微分和神经网络层的框架就得完全抛开。这个边界一划整个项目的结构就清晰了。你需要自己实现的东西包括张量的基本运算基于numpy封装、前向传播、损失函数、反向传播手动推导梯度、优化器SGD、Adam、以及一个简单的训练循环。如果项目再往深走还会涉及tokenizer、embedding层、注意力机制、甚至一个mini版的Transformer。我见过不少人一上来就想复现GPT结果卡在反向传播的链式法则上三天没进展。所以我的建议是分层递进第一层先做一个全连接网络解决MNIST把前向、反向、优化器这条链路跑通第二层再上卷积或者注意力第三层才考虑序列建模。这个顺序不是随便定的它对应的是梯度流动复杂度的递增——全连接网络的梯度最好推注意力的梯度涉及softmax的雅可比矩阵难度是跳级的。2.2 为什么坚持手推梯度而不是用数值微分有人会问反向传播手推太容易错了我用数值微分numerical gradient验证不就行了甚至直接用数值微分代替反向传播这个想法我试过结论是数值微分只能用来验证不能用来训练。原因很简单数值微分的计算复杂度是 O(n)n是参数数量。一个稍微像样的网络动辄几十万参数每更新一次就要前向传播几十万次训练一个epoch可能要跑到天荒地老。而反向传播的复杂度跟前向传播是同量级的这才是它能scale的关键。所以正确的做法是手推反向传播的解析梯度然后用数值微分做梯度检查gradient check两者对上了说明推导没错。这个梯度检查的环节是from scratch项目里最容易被跳过、但最不该跳过的步骤。我自己的习惯是每实现一个新的层比如一个自定义的激活函数就先写一个小的测试用例随机初始化输入和参数分别算解析梯度和数值梯度看相对误差是否小于1e-6。这个习惯帮我省下了大量debug时间。2.3 项目模块的划分逻辑一个干净的from scratch AI工程项目我倾向于按下面的方式切模块每个模块职责单一方便单独测试模块职责依赖tensor张量封装、基础运算、自动微分雏形numpylayers全连接、激活、注意力等层实现tensorlosses交叉熵、MSE等损失函数tensoroptimizersSGD、Momentum、Adamtensormodel层的组合、参数管理layerstrainer训练循环、数据加载、日志以上全部utils梯度检查、初始化、可视化numpy这个划分的好处是你可以单独测试每一层。比如实现完全连接层直接喂一个随机输入检查输出shape对不对、梯度检查过不过不用等整个模型搭完再一起debug。我踩过的坑就是早期把所有东西塞在一个文件里结果一个shape错误找了两个小时因为不知道是哪一层出的问题。3. 核心细节解析手写反向传播与优化器的关键要点3.1 计算图与链式法则的工程化落地反向传播的数学本质就是链式法则但工程实现上有两种主流思路一种是基于计算图的自动微分define-by-run像PyTorch那样另一种是手动推导每一层的梯度公式。From scratch项目通常走第二条路因为第一条路的工程量太大容易变成“重新实现一个PyTorch”。手动推导的核心是每一层需要实现两个方法forward和backward。forward接收输入计算输出并缓存反向传播需要的中间变量backward接收上游传来的梯度计算对输入和自身参数的梯度并把对输入的梯度继续往下传。这里有个关键细节缓存什么。以全连接层Y XW b为例反向传播需要用到输入X来算权重梯度dW X^T dY所以forward时必须把X存下来。但如果你存了整个batch的X显存占用会很大。实际工程里PyTorch是通过计算图自动管理这些缓存的from scratch项目里就得自己权衡——是存下来换速度还是重算换内存。我的建议是初期先存跑通了再考虑优化。另一个容易出错的地方是矩阵维度的对齐。手推公式的时候dW X^T dY里的转置到底转谁经常搞混。我的经验是写代码前先在纸上把每个变量的shape标出来比如X是(batch, in_features)W是(in_features, out_features)Y是(batch, out_features)那么dW的shape必须和W一致也就是(in_features, out_features)由此反推是X^T dY。这个“用shape反推公式”的方法比死记公式靠谱得多。3.2 权重初始化为什么全零初始化是灾难我见过太多新手包括当年的自己把权重初始化成0或者小的随机数就开跑然后发现loss根本不下降。原因在于对称性问题如果同一层的所有神经元权重完全相同那么它们在前向传播时输出相同反向传播时梯度也相同更新后还是相同——相当于这一层只有一