1. 复习前先想清楚这门课到底在考什么深度学习这门课的期末复习最怕的不是知识点难而是复习方向跑偏。我身边不少同学从一个月前就开始抱着《深度学习》花书从头啃每天看卷积、循环、注意力结果考完出来一脸懵——因为卷子上一半的东西他们压根没复习到。后来我把近几年的题型和课堂重点重新梳理了一遍才慢慢摸到这门的出题逻辑。先说结论深度学习期末考试的考察重点通常分成三块——基础概念的准确理解、核心公式的手推能力、以及经典网络的结构细节。这三块大概占了卷面八成以上的分数剩下两成才是一些开放性论述或者结合前沿的小论文题。所以复习的第一件事不是刷题而是搞清楚哪些是必须能背能推的、哪些是知道大概意思就行的、哪些是看了也大概率不会考的。这三类分清楚时间才花得值。我后来总结了一个特别有用的判断方法凡是课上老师反复画图、反复在黑板上推的公式基本必考凡是老师只在PPT上放了一页、简单带过的通常只会出选择题或者简答的概念辨析至于花书里那些实验性的内容和大量论文引用考试几乎不会碰。这个规律我验证了好几届命中率相当高。下面我把自己整理的一整套复习思路和知识点笔记拆开讲希望能帮你少走弯路。1.1 从课程大纲反推考点分布拿到复习清单后我做的第一件事是把课程大纲按照基础理论—网络结构—训练技巧—应用专题分成四大块然后给每一块标上权重。基础理论大概占三成包括线性回归、逻辑回归、多层感知机、反向传播、损失函数、梯度下降这几样网络结构占三成左右主要是CNN、RNN/LSTM、注意力机制和Transformer训练技巧占两成涉及正则化、批归一化、优化器、学习率调度、初始化剩下两成是泛化理论、无监督学习和一些前沿专题。为什么要先做这个权重分配因为复习时间永远是有限的如果你的复习是按章节顺序平推很容易把大量时间花在某个偏门知识点上而核心考点反而没吃透。我自己的做法是先把权重最高的两块彻底搞懂保证拿到基础分然后再去补第三块和第四块。事实证明这套策略很稳因为基础理论和网络结构这两块基本能覆盖七成的题目。这里要特别提醒一句不要把看懂了当成会做了。深度学习里很多概念你看PPT的时候觉得自己明白了但一旦让你手推反向传播或者算一个卷积的输出尺寸立刻就卡壳。所以复习的验收标准应该是能不看资料写出来而不是看的时候眼熟。1.2 我的复习资料清单和取舍逻辑资料不在多在于能对上考试。我最终留下的资料只有四样一是课堂PPT这是最贴合考试范围的二是花书《深度学习》用来补理论细节尤其是泛化、正则化那几章三是自己的手写笔记专门记公式推导和易错点四是一套往年题用来模拟手感。花书怎么用是有讲究的。它内容非常全但如果你从头到尾读时间肯定不够。我的经验是把它当字典用——碰到某个概念课上没讲清楚就去花书对应章节查比如反向传播看第6章正则化看第7章优化看第8章。这样既能保证理论深度又不会浪费时间。至于那些特别前沿的章节比如生成模型、深度强化学习的部分如果课程没重点讲期末基本不会考翻一翻知道是干什么的就行。还有一点往年题一定要认真做而且要限时做。因为深度学习试卷的计算量往往不小如果你平时慢慢推公式考试的时候很可能做不完。我第一次模拟的时候就吃了这个亏后面专门练了手速才把时间控制住。1.3 时间有限时的复习节奏如果距离考试只剩一两周我的建议是彻底放弃全面复习的幻想改成抓大放小。具体节奏可以这样安排前三天集中攻反向传播和CNN因为这两块是计算题和推导题的重灾区接下来两天搞优化算法和正则化这部分偏概念辨析和简答再花两天过一遍RNN和注意力重点是结构和公式的记忆最后两三天做往年题、查漏补缺把易错点整理成一张表。这个节奏的核心逻辑是先保计算题再保简答题最后补选择题。因为计算题分值高、区分度大一旦会做就是稳拿分简答题靠框架和关键词也能拿大部分分选择题涉及面太广性价比最低放最后。提示复习的时候一定要动手写尤其是反向传播这类需要反复推的公式。光看不写考场上手会生。2. 数学基础别跳过但也不用死磕很多人一提到深度学习的数学就打怵觉得要先学完一整套矩阵论和概率论才行。其实对于期末复习来说真正需要掌握的数学工具非常有限主要集中在矩阵求导、链式法则、基本概率和一点点泛化理论。剩下的那些高阶内容考试几乎用不上。我的建议是先明确哪些数学是必须会的矩阵乘法和转置、逐元素运算、链式法则、常见的导数sigmoid、tanh、softmax、ReLU、极大似然和交叉熵的推导、期望和方差的基本性质。这些掌握扎实了百分之九十的公式你都能推下来不需要额外的数学课程。至于更深的比如泛函分析、测度论除非课程明确讲过否则不要去碰。花书里有些章节确实涉及但那些是给研究者看的不是给期末复习用的。复习阶段的时间要用在刀刃上。2.1 矩阵求导和链式法则的实用版本矩阵求导看着吓人其实考试里用到的就那么几个套路。第一个是标量对向量求导结果是一个向量比如损失对权重求导。第二个是标量对矩阵求导结果和矩阵同形状。第三个是向量对向量求导会得到雅可比矩阵这个在推导反向传播时很关键但一般只要理解概念即可不需要真的写出整个矩阵。链式法则是重中之重。反向传播本质上就是链式法则在计算图上的高效实现。用生活化的比喻链式法则就像接力传话前一层把信息传给后一层求导的时候再反着把梯度传回来。理解了这个正着传值、反着传梯度的框架反向传播的公式就不难记了。我复习时常用的一个技巧是把链式法则写成局部导数相乘的形式。比如对于 y f(u), u g(x)有 dy/dx (dy/du)(du/dx)。在神经网络里每一层的局部导数就是激活函数的导数或者线性变换的导数乘起来就是整条路径的梯度。这个思路在推导多层网络时非常清晰。注意矩阵求导最容易错的是转置和维度对不上。养成检查维度的习惯能避开一大半错误。2.2 概率论里真正会被考到的部分概率这一块考试里出现频率最高的是极大似然估计和交叉熵的等价性。举一个最常见的例子二分类问题里为什么用交叉熵损失而不是均方误差原因就是交叉熵正是伯努利分布下极大似然估计的负对数似然。这个推导一定要能自己写一遍。其次是条件概率、贝叶斯公式和期望方差。这几个在讲朴素贝叶斯、隐变量模型或者变分推断的时候会用到但期末考得不会太深通常就是让你写出公式、解释含义。KL散度也是常客要注意它衡量的是两个分布之间的差异而且不对称。有一个容易混的点是softmax和sigmoid的区别。sigmoid用于二分类把单个输出压到0到1之间softmax用于多分类把一组输出变成概率分布所有元素加起来等于1。考试里经常让你比较两者的适用场景或者推导softmax的雅可比矩阵这个值得专门花时间过一遍。2.3 泛化误差界和VC维到底怎么理解泛化误差界是很多人觉得抽象的地方但它的直觉其实很简单模型在训练集上的表现好不代表在新数据上也好两者之间的差距可以用模型的复杂度和训练样本量来界定。经典的界大致写成泛化误差 ≤ 经验误差 复杂度项其中复杂度项随模型容量增大而增大随样本量增大而减小。VC维衡量的是一个模型类能打散多少样本点。如果你能用一个模型类对任意标注的N个点都实现正确分类那这N个点就叫被打散了能打散的最大N就是VC维。直观理解VC维越高模型越灵活但也越容易过拟合。复习时不需要记住所有证明细节但要知道VC维和泛化能力之间的这种权衡关系。Rademacher复杂度是另一种更精细的复杂度度量用随机噪声来测量模型拟合随机标签的能力。它的优势是能处理更一般的假设空间不像VC维那样只针对二分类。考试里如果考到一般就是让你解释两者区别或者写出泛化界的结构不太可能让你完整证明。我复习这部分时的方法是画一张对比表把每种复杂度度量的定义、适用场景、优缺点列出来记起来特别快。3. 神经网络核心机制从单个神经元到反向传播这一块是整个课程的骨架也是考试的重中之重。我复习的时候把它分成三层来理解单神经元怎么算、多层网络怎么前向传播、梯度怎么反传。只要这三层都能自己笔算一遍绝大多数计算题就稳了。单个神经元其实就是线性组合加激活。输入向量和权重做内积加上偏置再过一个非线性函数输出就出来了。听起来简单但考试里经常让你手算一个小网络的前向输出这时候每一步都不能马虎尤其是激活函数的具体数值。多层感知机就是把若干神经元按层叠起来。前向传播的时候每一层的输出是下一层的输入逐层计算就好。真正难的是反向传播因为涉及大量链式法则和矩阵运算。但好消息是反向传播的推导有固定的套路只要掌握四个基本方程任何层数的网络都能推下来。3.1 前向传播的手算流程以最简单的两层网络为例假设第一层权重 W1、偏置 b1激活函数为 sigmoid第二层权重 W2、偏置 b2输出层用 softmax。前向传播的步骤是先算 z1 W1 x b1再算 a1 σ(z1)然后 z2 W2 a1 b2最后 ŷ softmax(z2)。每一步都要把维度对上x 的维度决定了 W1 的列数隐藏层神经元个数决定了 W1 的行数。手算的时候最麻烦的是激活函数的数值。sigmoid 的公式是 1/(1e^{-z})遇到 z 是整数的时候还好算遇到小数就得估算。考试里一般会给你一些友好的数字比如 z 0 时 sigmoid 等于 0.5tanh 等于 0ReLU 就是 max(0, z)。所以复习时把这些特殊点的值记牢能省不少时间。还有一个小技巧softmax 的推导题经常考要知道它会对输出进行指数化再归一化而且它有个平移不变性也就是给所有输入同时加一个常数结果不变。这个性质在数值稳定性里很重要考试也爱考。3.2 反向传播的四个基本方程反向传播的核心是四个方程我复习时反复默写了不下十遍。设第 l 层的加权输入为 z^l输出为 a^l激活函数为 σ损失为 C。定义误差项 δ^l ∂C/∂z^l。四个方程如下输出层误差δ^L ∇_a C ⊙ σ(z^L)也就是损失对输出的导数逐元素乘以激活函数的导数。误差反传δ^l ((W^{l1})^T δ^{l1}) ⊙ σ(z^l)把后一层的误差通过权重转置传回来再乘激活导数。偏置梯度∂C/∂b^l δ^l误差项本身就是偏置的梯度。权重梯度∂C/∂W^l δ^l (a^{l-1})^T误差项和后一层输入的转置做外积。这四个方程一定要理解着记不要死背。我的记忆方法是抓住两点误差怎么从后往前传以及梯度怎么由误差和输入算出来。输出层的误差是损失对输出和激活导数的逐元素积中间层就是把后面的误差用权重转置传回来有了误差偏置梯度就是它本身权重梯度就是它和输入的乘积。理解了这条主线任何一个具体网络的推导都能现推。提示考试里如果让你推导多层的反向传播一定要把维度标清楚。误差项 δ^l 的维度和该层神经元个数一致这样检查起来最方便。3.3 激活函数的选择和梯度问题激活函数这块考试最爱考的是各自的性质和梯度。sigmoid 会把输出压到 0 到 1导数是 σ(1-σ)最大只有 0.25所以深层网络里梯度会指数衰减这就是梯度消失。tanh 输出范围是 -1 到 1导数最大为 1比 sigmoid 好一点但也有饱和问题。ReLU 在正区间导数恒为 1能有效缓解梯度消失而且计算快但负区间梯度为 0可能导致神经元死亡。后来又出现了 Leaky ReLU、ELU、GELU 这些变体思路都是给负区间一个小的斜率避免神经元死亡。GELU 在 Transformer 里很常见它的形式是 x 乘以标准正态分布的累积分布函数看上去复杂但实际中效果很好。选激活函数的原则隐藏层一般用 ReLU 或其变体输出层根据任务选二分类用 sigmoid多分类用 softmax回归用线性。考试如果让你分析为什么不用 sigmoid 做隐藏层激活你就从梯度消失和饱和两个角度回答基本就到位了。4. 优化算法与训练技巧从 SGD 到 Adam优化这一章看起来公式多但逻辑其实很顺从最朴素的梯度下降出发不断解决它的问题就得到了各种高级优化器。复习的时候只要抓住每一步解决了什么问题这条线所有算法都能串起来。另一个重点是正则化和归一化。它们决定了模型能不能从记住训练集变成真正学会规律。这部分考试特别爱出概念题比如让你比较 L1 和 L2、解释 BatchNorm 为什么能加速训练、Dropout 在训练和测试时的区别等等。4.1 从 SGD 到 Adam 的演进逻辑最基础的批量梯度下降每次用全部样本算梯度稳但慢。随机梯度下降SGD每次用一个样本快但震荡大。小批量梯度下降折中用一小批样本既快又相对稳定这也是实际最常用的。SGD 的问题是会卡在鞍点、对学习率敏感、不同方向的梯度尺度差异大。动量法Momentum通过累积历史梯度来加速收敛、抑制震荡Nesterov 加速梯度在动量基础上往前看一步收敛更快。AdaGrad 给每个参数自适应学习率适合稀疏数据但学习率会一直衰减到很小。RMSProp 用指数移动平均替换累积和解决了学习率衰减过快的问题。Adam 则结合了动量和 RMSProp同时估计一阶矩和二阶矩并做了偏差修正。Adam 的更新公式是复习重点m_t β1 m_{t-1} (1-β1) g_tv_t β2 v_{t-1} (1-β2) g_t²然后做偏差修正 m̂ m_t/(1-β1^t)、v̂ v_t/(1-β2^t)最后参数更新 θ θ - lr · m̂/(√v̂ ε)。默认参数一般是 β10.9β20.999ε1e-8。这几个数字考试经常考一定要记住。4.2 学习率调度和批大小的影响学习率是训练里最重要的超参数没有之一。太大容易震荡甚至发散太小收敛慢还容易卡在局部极小。实际中常用的策略是学习率衰减比如按步衰减、按余弦退火、或者用预热加衰减。余弦退火的好处是后期学习率平滑降到接近 0能让模型稳定收敛。批大小也很有讲究。批太小梯度噪声大批太大虽然稳定但泛化可能变差而且显存吃不消。一个经验法则是批大小和学习率要同步调整批翻倍时学习率也可以适当放大这就是所谓的线性缩放规则。这里我想说一个实操心得如果你在考试里遇到设计一个训练方案的开放题就按Adam 余弦退火 批大小 64 或 128 权重衰减 1e-4这套组合来写逻辑清晰、有理有据基本能覆盖大部分场景。这个组合不是最优的但绝对稳妥。4.3 正则化全家桶L2、Dropout 和 BatchNormL2 正则化在损失里加上权重平方和等价于给权重一个高斯先验会让权重变小、模型更平滑。L1 正则化加上权重绝对值之和倾向于让部分权重变成 0起到特征选择的作用。两者的区别考试必考核心就是L1 稀疏、L2 平滑。Dropout 在训练时随机把一部分神经元置零相当于每次训练一个子网络测试时用全部神经元但对输出做缩放。它的作用是防止神经元之间过度依赖增强泛化。要注意的是测试阶段不做随机丢弃而是用期望值缩放这个细节经常出判断题。BatchNorm 在每一层对 mini-batch 做归一化让激活值分布稳定从而允许更大的学习率、加快收敛还带一点正则效果。训练时用当前批的均值和方差推理时用训练期间累积的滑动平均。这个训练用批统计、测试用全局统计的区别是高频考点千万别记反。方法作用机制训练/测试差异常见考点L2 正则惩罚权重大小无与高斯先验的关系Dropout随机置零神经元测试时缩放缩放系数 1/(1-p)BatchNorm批归一化激活统计量不同滑动平均更新5. 经典网络结构串讲CNN、RNN 和 Transformer网络结构这一章内容最多但也最有意思。复习的时候不要把每个网络当成孤立的知识点而要看它们的演进关系CNN 解决了图像的空间结构问题RNN 解决了序列的时间依赖问题Transformer 则用注意力机制同时解决了长距离依赖和并行计算的问题。理解这条主线记忆负担会小很多。5.1 CNN卷积、池化和感受野计算卷积的核心思想是局部连接和权值共享。局部连接指每个神经元只连接输入的一个小区域权值共享指同一个卷积核在整张图上滑动。这样做大幅减少了参数量还带来了平移不变性。卷积输出尺寸的计算公式一定要记牢输出尺寸 (输入尺寸 - 卷积核 2×填充) / 步长 1。这个公式考试必考而且经常结合具体数字让你算。池化层类似最大池化取区域最大值平均池化取平均值作用都是降维和增强不变性。感受野的计算稍微绕一点。第 l 层的感受野递推公式是 RF_l RF_{l-1} (k_l - 1) × 前面所有层的步长乘积。直观理解感受野就是输出上一个点对应输入上的区域大小。堆叠多层小卷积核比用一个大卷积核更好因为参数量更少、非线性更强。比如两个 3×3 卷积的感受野等于一个 5×5但参数少了很多这也是 VGG 网络的设计思想。5.2 RNN 和 LSTM门控机制与梯度问题循环神经网络的核心是隐状态在时间上传递使得网络能记住历史信息。但普通 RNN 有两个致命问题梯度消失和梯度爆炸。梯度爆炸可以用梯度裁剪缓解梯度消失则要靠门控机制解决这就是 LSTM 和 GRU 的由来。LSTM 有三个门遗忘门决定丢掉多少旧记忆输入门决定写入多少新信息输出门决定输出多少当前状态。它的核心是细胞状态这条记忆高速公路通过加法更新使得梯度能更顺畅地传播。GRU 把三个门简化成两个更新门和重置门参数更少效果常常差不多。复习这部分时我建议把 LSTM 的公式完整写一遍从遗忘门到输出门逐个推导。虽然考试不一定让你完整推导但写过一遍之后理解会深很多简答题也能答得更具体。5.3 注意力和 Transformer从 QKV 到多头注意力机制的公式是 Attention(Q,K,V) softmax(QK^T / √d_k) V。其中 Q 是查询K 是键V 是值√d_k 是用来缩放点积、防止 softmax 梯度太小的。这个公式是整章的绝对重点必须能默写。自注意力就是 Q、K、V 都来自同一个输入序列这样每个位置都能看到其他所有位置解决了 RNN 的长距离依赖问题而且可以并行计算。多头注意力则是把 Q、K、V 分成多组并行计算再拼接起来让模型能同时关注不同子空间的信息。Transformer 由编码器和解码器堆叠而成每一层包含多头注意力和前馈网络中间用残差连接和层归一化。位置编码用来给序列注入位置信息常见的是正弦余弦编码。考试里经常让你比较 CNN、RNN 和 Transformer 的优缺点答案的核心就是CNN 局部、RNN 串行有长依赖问题、Transformer 全局并行但计算复杂度是序列长度的平方。把这张对比表记清楚这类题就稳了。6. 期末题型拆解和答题套路复习到后期最重要的就是把知识点转化成答题能力。这一节我按照计算题、简答题、论述题三类分别说说我的应对方法都是踩过坑总结出来的。6.1 计算题的高频类型和手算要点计算题主要集中在这几类卷积输出尺寸计算、反向传播的梯度推导、softmax 和交叉熵的推导、注意力权重的计算、以及简单的优化器更新步骤。这几类题目的共同特点是有固定套路但容易算错。我的做法是每类题都总结一个标准流程。比如卷积尺寸题先写公式再代入数字最后检查填充和步长的方向反向传播题先画计算图标出每层的维度再从输出层往前逐层推softmax 题先写指数化再归一化注意平移不变性可以用来简化计算。把这些流程固化下来考场上就是按部就班地执行不容易乱。还有一点特别重要算完一定要检查维度和数值合理性。比如概率加起来是不是等于 1梯度符号对不对尺寸是不是整数。这些检查看起来简单但能帮你捞回不少分。6.2 简答题怎么答才拿满简答题的评分逻辑是踩点给分所以答题时要尽量把关键词和核心逻辑都写出来不要只写一句话。比如问为什么 BatchNorm 能加速训练你要答出减少内部协变量偏移、稳定激活分布、允许更大学习率、有轻微正则效果这些点而不是只说因为它归一化了。我复习时会把每个高频简答题整理成三点式先给结论再给原理最后补一句注意事项。这样答题既完整又有条理。常见的简答题包括梯度消失的原因和对策、过拟合的表现和解决方法、L1 和 L2 的区别、Dropout 的原理、优化器的比较等等。提示简答题宁多勿少但要分点写让阅卷老师一眼看到关键词。写成一大段反而是自己吃亏。6.3 常见易错点速查表下面这张表是我把自己和同学踩过的坑整理出来的考前过一遍能少丢很多分。易错点正确理解Dropout 测试时也随机丢弃测试时用全部神经元输出按 1/(1-p) 缩放BatchNorm 测试用批统计测试用训练累积的滑动平均softmax 和 sigmoid 混用sigmoid 二分类softmax 多分类卷积输出公式忘记加 1公式末尾一定要加 1Adam 忘记偏差修正必须除以 (1-β^t) 做修正反向传播误差符号弄反记住梯度是损失下降方向符号要一致7. 复习过程中的坑和个人体会最后我想分享几个自己踩过的坑。第一个坑是过度依赖看视频。视频确实讲得清楚但看视频是一种被动学习很容易产生我懂了的错觉。真正的检验方式是合上资料自己写一遍写不出来就是没懂。我后来把看视频的时间压缩到三成剩下七成全用来动笔效率提升非常明显。第二个坑是忽略课程本身的特点。每个老师的出题风格不一样有的偏计算有的偏概念有的喜欢考前沿。所以复习一定要以自己课程的PPT和往年题为准网上的通用资料只能当参考。我有个同学把某名校的公开课复习资料背得滚瓜烂熟结果和自己老师的重点完全错位白白浪费了时间。第三个坑是公式记混。深度学习的公式长得都很像尤其是各种归一化和优化器的更新式。我的解决办法是把它们放在一起对比着记画一张表格把每个公式的输入、输出、关键参数都标出来。对比着记比单独背要牢固得多。再分享一个我个人觉得特别有用的小技巧考前把最核心的十个公式抄在一张纸上每天早晚各默写一遍。这十个公式我选的是卷积输出尺寸、感受野递推、四个反向传播方程、softmax 定义、交叉熵、Adam 更新、BatchNorm、注意力公式、LSTM 门控。十天下来这些公式基本就刻在脑子里了考场上根本不用现推。这套方法我用了不止一次效果都挺稳。如果你也在准备深度学习的期末希望这些笔记能帮你把力气花对地方。真正拉开差距的往往不是谁看得多而是谁把核心的东西真正吃透了。