如果你早就能用 Hugging Face 加载 GPT、用 DeepSpeed 跑微调却仍然说不清 self-attention 里的 Q、K、V 为什么是三个矩阵也说不出一次完整的预训练数据应该长什么样那说明你和大模型之间还隔着一层“框架窗帘”。斯坦福 CS336 正是用来掀开这层窗帘的课程它把大模型从数据到推理的每一条链路都拆开让你用几百行代码从零写出一个能自己生成句子的语言模型。这篇文章不会帮你把课程答案抄一遍而是给你一条可以照做的学习路径这门课解决了什么问题、核心环节怎么拆解、代码怎么组织、训练跑起来后怎么判断成功、以及最容易卡住新手的坑在哪里。很多同学学大模型的路径是这样的先玩 API再学 Hugging Face然后尝试微调。结果微调一次都没成功因为根本不知道 loss 为什么爆炸、gradient 为什么消失、显存为什么不够。这不是动手能力差而是知识链路缺了一段。CS336 的任务就是补上这一段它的课程设计思想非常明确不要告诉我你会用库请证明你能从零写出一个语言模型并且把它训练到能生成文本的程度。这篇文章就是围绕这门课的学习路线展开的读完你会知道从哪开始、先学什么、后学什么以及每一步为什么要这么做。我更想强调的一点是这门课的价值不在于“手搓”这个动作本身而在于它逼你把大模型的各个环节全部过一遍。数据、分词、模型架构、训练目标、优化器、分布式、推理任何一个环节掉了链子你的模型都跑不出像样的结果。换句话说CS336 教的不是某个模型而是一条完整的研究与工程链路。这篇文章会按照课程的逻辑把这套链路拆给你看并附上可运行的 PyTorch 示例代码方便你跟着跑通第一个最小版本。1. 这篇文章真正要解决的问题开始之前先问你几个问题你知道语言模型的训练数据应该怎么预处理吗attention mask 为什么要在 softmax 之前做而不是之后AdamW 和 Adam 在权重衰减上到底有什么区别混合精度训练时为什么 loss 会突然变成 NaN如果这些问题你能立刻答出来那 CS336 对你而言是复习课。如果答不出来说明你之前对大模型的使用更多停留在“调用者”层面而 CS336 恰好就是围绕这些底层问题展开的。这门课真正解决的核心问题是大多数开发者手里没有一条从零开始构建大模型的完整路径。网上有太多“三分钟搭建 Llama”的文章点进去全是transformers.AutoModel加几行推理代码。一旦你想训练一个自己的模型、想加深并行框架、想读懂 DeepSpeed 的配置就发现无从下手。CS336 的课程设计跳过了这些封装的抽象层直接让你从 tokenizer 开始写计算图从数据加载开始写训练循环整个过程会重建你对大模型的直觉。什么样的读者最适合这门课我认为有三类人值得投入时间。第一类是想做 LLM 底层研究和推理优化的同学他们需要理解模型结构每一条边的形状变化需要知道显存到底被谁吃掉了。第二类是正在做模型微调但反复踩坑的工程师他们可能已经跑过 LoRA、QLoRA但当显存不够、loss 不降、分布式通信报错时需要有一套底层知识来支撑排查。第三类是面试大模型相关岗位的求职者不少面试官会直接追问 FlashAttention 为什么快、ZeRO 三个阶段切分的是什么这些问题如果只背结论不读源码很容易被问穿。当然这门课不适合只想快速调 API、快速做业务交付的人。CS336 的投入成本很高作业通常要花数周才能完整做完。但如果你打算长期做 LLM 相关的工作这笔时间花得值。学习这门课的收益是之后你再使用任何上层框架都能立刻判断它到底帮你封装了什么又牺牲了什么而不必把它们当成黑盒。2. CS336 视角LLM 从零实现的底层逻辑CS336 的主题是“Language Modeling from Scratch”中文可以理解为“从零实现语言建模”。它不依赖任何封装好的大模型框架课程作业通常要求你用 PyTorch 甚至更底层的接口完成一个能训练的语言模型再逐步加入优化技巧和分布式能力。为什么选择“from scratch”作为教学方式因为大模型本质上没有那么多神秘的数学它就是把海量文本压缩成 token 序列上的概率分布。Transformer 前向传播的核心代码认真写也不过一两百行。真正的复杂性在工程细节数据混洗、padding、mask、学习率调度、梯度裁剪、混合精度、分布式通信、checkpoint 管理。这些细节被框架隐藏了但恰恰是它们决定了模型能否稳定训练。从零实现大模型相当于把机器学习课程、系统课程和工程课程融合到同一条线上。你需要同时处理“模型该长什么样”“数据该怎么喂”“多卡之间怎么通信”“loss 为什么会飞”这几个层面的问题。CS336 的可贵之处是让你按顺序一次只学一个概念而不是一开始就抛出一个几百 B 参数的巨型系统。如果把大模型比作造汽车那么 Hugging Face 给你的是整车和说明书DeepSpeed 给你的是可调参数的发动机管理和流水线装配方案而 CS336 则是要求你自己画图纸、锻零件、组装并跑完试车。这个过程当然慢但完成后你对每一个零件如何协同工作会有真正的手感。这种手感在遇到问题时会变成判断力别人还在看文档你已经能从 loss 曲线和显存占用推断出问题出在数据、模型还是训练配置上。课程的完整链路通常覆盖数据与分词、模型架构、训练优化、分布式训练、推理与模型压缩这几大块。下面逐个拆解并给出每一块在课程中最常做的练习和你在实际项目中会遇到的对应问题。2.1 课程教学路线的一条主线以我个人的学习体验和公开材料来判断CS336 的作业设计有一条非常清晰的递进线先写出能过前向传播的最小模型再把它训练到能输出 decodable 文本然后加入更接近真实预训练的优化器与数据配置最后扩展到多卡分布式和推理优化。这个过程完全复现了早期 GPT 类模型的诞生流程。这种递进的好处是每一周都有一个可验证的产出。你不需要等三个月才看到成果第一周你就能打印出自己的模型生成的第一段乱码。乱码虽然可笑但它是你在黑盒外面亲手构造出来的系统在运转的证据。接下来每一次迭代把乱码变得稍微有规律一点把 loss 从 5 降到 4、再到 2你会非常直观地理解“预训练到底在做什么”。2.2 和传统深度学习入门课的区别传统深度学习课程通常从图像分类入手用交叉熵训练一个 CNN重点放在卷积和池化上。CS336 则完全围绕自回归语言建模展开重点变成了序列数据的掩码、因果建模、以及训练过程的不稳定性。同样是交叉熵语言模型里每个 token 都是一个分类问题同样是用反向传播语言模型里序列越长计算图越大梯度消失和显存峰值的问题更早显现。这带来的结果是学完 CS336你对显存和算力的感知力会明显提升。你会知道一次前向反向具体在哪一层消耗最多显存从而理解为什么 FlashAttention、梯度检查点、混合精度这些技术能带来数量级的收益。这些感知是单纯调用框架无法获得的。3. 环境准备与前置条件动手之前先确认你要准备的知识和硬件。CS336 对基础的要求不算苛刻但如果你完全没接触过深度学习和 PyTorch建议先补一下入门课程。使用这门课期间最重要的能力其实是“读源码”和“查文档”因为你会经常需要对比自己的实现和参考实现的差异。3.1 前置知识准备第一个必备基础是熟练的 Python 编程尤其是对 tensor 形状变化的敏感度。第二个是基础的深度学习知识你至少要清楚什么是 embedding、什么是前馈网络、什么是反向传播、什么是梯度下降。第三个是基础的 PyTorch 使用经验比如nn.Module、DataLoader、optimizer.step()这些 API 应该不用查文档就能写。如果这些都没问题CS336 的代码对你来说就是“逻辑复杂但每一行都看得懂”。线性代数和概率论也需要掌握到“够用”的程度。矩阵乘法、softmax、交叉熵、对数似然这些概念是模型代码里的常客。说实话只要你做过图像分类或 NLP 入门项目这些数学知识基本已经覆盖。不需要再花一个月补数学遇到不懂的公式查一下即可。3.2 硬件与运行环境看到“从零搭建大模型”很多人的第一反应是“我没有多卡 GPU 怎么办”。实际上课程学习可以被划分为多个阶段不同阶段对硬件的要求差异很大。第一阶段是阅读课程讲义、学习概念、跑通前向传播和小规模测试这时候普通的 CPU 笔记本也能完成只是训练速度慢一些。第二阶段是训练一个小型语言模型来验证 loss 会下降、文本生成有进步如果使用很小的字符级数据集单张消费级 GPU 比如 RTX 4060 或 3090 就能胜任。第三阶段才是完整训练一个“像样”的预训练模型这通常需要多卡甚至集群课程仓库也会提供对应的分布式脚本。比较稳妥的意见是先用小模型把全部代码流程跑通再考虑上多卡。你不需要一上来就复现一个 7B 模型那是工业环境的事不是学习阶段的目标。如果只是验证分布式逻辑两到四张中端卡也够用关键是理解数据并行和模型分片各自在做什么。3.3 创建开发环境下面给出一个最基础的 Python 虚拟环境创建方式适配 Linux 和 macOS。Windows 用户建议使用 WSL2 安装 Linux 环境因为后续很多分布式训练功能在 Linux 下更顺畅。# 创建并激活虚拟环境 python -m venv .venv source .venv/bin/activate # 升级 pip 并安装基础依赖 pip install --upgrade pip pip install torch numpy tqdm关于 PyTorch 的安装不同 CUDA 版本的安装命令不同请以 PyTorch 官方安装页为准本文不绑定具体版本。安装完成后可以执行下面命令验证环境是否可用python -c import torch; print(torch.__version__, torch.cuda.is_available())如果输出中torch.cuda.is_available()为True说明 GPU 可用。如果是False需要检查驱动和 CUDA 版本或者暂时先用 CPU 跑但要把模型和 batch size 调小。课程代码的获取方式建议直接从课程主页或官方 GitHub 仓库拉取。仓库中通常包含讲义、作业模板和参考测试具体的组织方式以你拿到的最新版本为准。克隆仓库的命令如下git clone 课程仓库地址 cd 课程仓库目录这里刻意不写死某个仓库地址是因为课程仓库可能改名或迁移。只要在 GitHub 搜索课程名一般都能找到官方仓库或高星镜像注意区分是否官方即可。4. 核心流程拆解手搓大模型的五个关键环节如果你已经跑通过一个大型预训练模型的微调再去看 CS336 的作业目录会有一种“原来我之前使用的框架帮我做了这么多事”的感觉。这一节我把从零搭建大模型的过程按五个环节拆开每个环节都会解释它解决什么问题以及缺少它会出现什么后果。4.1 数据与分词语言模型学习的对象是 token 序列因此第一步永远是把原始文本切成 token。最简单的方式是字符级 tokenizer把每个字符当成一个 token。它的优点是实现容易缺点是序列过长实践中很少直接用。工业界默认使用 BPE 字节对编码它先把文本拆成字节再逐步合并最常见的高频片段最终得到一个可控大小的词表。词表大小直接影响模型参数量和训练速度。词表大的好处是每个 token 的语义更完整坏处是 embedding 矩阵变大解码端的 LM Head 维度也跟着变大显存压力随之上升。课程作业通常会让你自己实现或调通一个 BPE tokenizer并让它处理一个标准数据集。这里最容易踩的坑是训练和推理阶段 tokenizer 不一致例如训练时用了带unk的映射推理时却输出了未知字符导致生成结果不可读。确保 tokenizer 正确的最直接方法是把一段文本 encode 再 decode 回去确认内容没有丢失同时查看 token 序列长度的分布避免出现过长的样本导致显存溢出。4.2 模型架构当前几乎所有主流语言模型都是 Transformer 的变体核心结构包括 token embedding、位置编码、多层 Transformer Block、最终 LayerNorm 和 LM Head。每个 Transformer Block 内部通常包含 Multi-Head Self-Attention、MLP、残差连接和 LayerNorm。Self-Attention 的核心是让序列里的每个位置都能根据其他位置的信息更新自己的表示。Q、K、V 三个矩阵分别负责“我要查询什么”“我的标识是什么”“我携带的内容是什么”。因果语言模型还要加一个 causal mask确保位置 t 只能看到 0 到 t 的信息不能看到未来。这个 mask 必须在注意力分数归一化之前应用因为在 softmax 之后再加 mask 会让被遮住的位置仍然拥有非零概率质量只是略微变小达不到“完全不能看”的效果。LayerNorm 的位置也值得注意。现在主流实现倾向于 Pre-Norm即先归一化再进入子层优点是训练更稳定对大学习率更友好。课程里通常会要求你对比 Pre-Norm 和 Post-Norm 的效果差异你可能会发现模型层数加深之后Post-Norm 更容易出现训练不稳定。4.3 训练设置语言模型的训练目标很简单对每个位置预测下一个 token最大化真实 token 的 log 概率。等价地最小化交叉熵 loss。但这个目标在实现上有不少细节比如reduction的选择、padding token 是否需要参与 loss 计算。如果数据里包含 padding而你又没有在 loss 里屏蔽 padding模型会花大量精力去预测无害的 padding token反而学不好真实内容。优化器方面现在的默认选择是 AdamW而不是 Adam。AdamW 把权重衰减从梯度更新中解耦只在参数更新时直接做 L2 缩权能显著改善正则效果。配合学习率预热和余弦退火训练稳定性会好很多。还有一个容易被忽略但重要的超参数是梯度裁剪它对防止梯度爆炸很有效。混合精度也是现代训练标配。fp16 能显著减少显存和计算量但容易造成 loss 溢出。现在更推荐 bf16它的表示范围更大对训练稳定性更友好。如果你遇到 loss 为 NaN先检查是不是混合精度设置不当再检查学习率是不是过大。4.4 分布式训练训练大模型单卡几乎不可能完成。分布式训练有一套完整的概念体系数据并行是每张卡持有完整模型但数据切成多份模型并行是把模型的不同层放到不同卡张量并行是把同一层内部的矩阵运算切分到多张卡流水线并行是把层分组让不同卡串行处理不同阶段的批次。在 PyTorch 生态下DDP 是数据并行的标准实现适合模型尺寸能够放进单卡的情况。当模型大到单卡装不下时需要 ZeRO 和 FSDP 这类参数分片方案。FSDP 会把参数、梯度和优化器状态分片到多张卡上代价是增加通信量。CS336 通常会引导你从 DDP 入手再过渡到 FSDP 或手动实现一个简单的 ZeRO 阶段这比直接调用框架更能帮助你理解通信开销的来源。分布式训练最容易出的问题之一是模型输出和 loss 在不同 rank 上的数值不一致。要验证你的分布式实现是否正确可以先在单卡上固定 seed 训练几步再在多卡上同样的 seed 训练几步比较最终 loss 是否一致。如果不一致通常说明通信方案或梯度同步逻辑有问题。4.5 推理训练完成后推理阶段的优化又是一个新世界。自回归生成是一个 token 一个 token 产生的每个步骤都需要重复计算前面所有 token 的注意力。KV Cache 的出现就是为了避免重复计算把每个 token 的 Key 和 Value 缓存下来之后每次只需计算新位置的 Key 和 Value。课堂里你可能还会讲到 Grouped Query Attention、量化、蒸馏这些技术都属于“模型已经训练好之后如何更快更省地让它运行”的问题。推理阶段另一个常见问题是生成质量。直接贪心采样往往导致重复和无趣温度参数过低也会让文本缺乏多样性过高则会胡言乱语。合理做法是在工业场景里结合 Top-k、Top-p 采样以及重复惩罚同时在评测时区分效率和质量的取舍。5. 完整示例代码用 PyTorch 手写最小 GPT理论知识讲再多不如亲自跑一个最小例子。下面我用一个字符级 GPT 模型作为教学示例展示“从零搭建大模型”的核心骨架。为了便于复制代码拆成多个文件并且刻意保持精简。课程作业里会在这个基础上加入 BPE、真实数据集、分布式等更复杂的内容但骨架是完全一样的。5.1 文件结构规划course-mini-gpt/ ├── data.py # 数据读取和 batch 构造 ├── model.py # MiniGPT 模型定义 ├── train.py # 训练脚本 └── generate.py # 文本生成脚本文件拆分的目的不是追求架构优雅而是让你在修改模型、数据处理、训练配置时尽量不影响其他部分。真实项目里还会把配置单独抽成 yaml 文件这里为了教学就直接写在脚本顶部。5.2 数据处理代码# 文件路径course-mini-gpt/data.py import torch from torch.utils.data import Dataset class CharDataset(Dataset): def __init__(self, text, block_size): chars sorted(list(set(text))) self.stoi {ch: i for i, ch in enumerate(chars)} self.itos {i: ch for i, ch in enumerate(chars)} self.block_size block_size self.data torch.tensor([self.stoi[c] for c in text], dtypetorch.long) def __len__(self): return len(self.data) - self.block_size - 1 def __getitem__(self, idx): x self.data[idx: idx self.block_size] y self.data[idx 1: idx 1 self.block_size] return x, y这个 Dataset 的用法是给定一段文本和固定的上下文长度block_size把文本切成很多个长度为block_size的输入序列同时把序列右移一个 token 作为预测目标。stoi和itos分别负责字符和数字之间的映射。5.3 模型定义代码# 文件路径course-mini-gpt/model.py import math import torch import torch.nn as nn import torch.nn.functional as F class MultiHeadSelfAttention(nn.Module): def __init__(self, embed_dim, num_heads, dropout): super().__init__() assert embed_dim % num_heads 0 self.num_heads num_heads self.head_dim embed_dim // num_heads self.qkv nn.Linear(embed_dim, 3 * embed_dim, biasFalse) self.out_proj nn.Linear(embed_dim, embed_dim) self.dropout nn.Dropout(dropout) def forward(self, x): B, T, C x.shape qkv self.qkv(x) q, k, v qkv.chunk(3, dim-1) q q.view(B, T, self.num_heads, self.head_dim).transpose(1, 2) k k.view(B, T, self.num_heads, self.head_dim).transpose(1, 2) v v.view(B, T, self.num_heads, self.head_dim).transpose(1, 2) att (q k.transpose(-2, -1)) / math.sqrt(self.head_dim) mask torch.tril(torch.ones(T, T, devicex.device)).view(1, 1, T, T) att att.masked_fill(mask 0, float(-inf)) att torch.softmax(att, dim-1) att self.dropout(att) y att v y y.transpose(1, 2).contiguous().view(B, T, C) return self.out_proj(y) class TransformerBlock(nn.Module): def __init__(self, embed_dim, num_heads, dropout): super().__init__() self.ln1 nn.LayerNorm(embed_dim) self.attn MultiHeadSelfAttention(embed_dim, num_heads, dropout) self.ln2 nn.LayerNorm(embed_dim) self.mlp nn.Sequential( nn.Linear(embed_dim, 4 * embed_dim), nn.GELU(), nn.Linear(4 * embed_dim, embed_dim), nn.Dropout(dropout), ) def forward(self, x): x x self.attn(self.ln1(x)) x x self.mlp(self.ln2(x)) return x class MiniGPT(nn.Module): def __init__(self, vocab_size, block_size, embed_dim, num_heads, num_layers, dropout0.1): super().__init__() self.block_size block_size self.token_embedding nn.Embedding(vocab_size, embed_dim) self.position_embedding nn.Embedding(block_size, embed_dim) self.blocks nn.ModuleList([ TransformerBlock(embed_dim, num_heads, dropout) for _ in range(num_layers) ]) self.ln_f nn.LayerNorm(embed_dim) self.lm_head nn.Linear(embed_dim, vocab_size, biasFalse) self.apply(self._init_weights) def _init_weights(self, module): if isinstance(module, nn.Linear): nn.init.normal_(module.weight, std0.02) if module.bias is not None: nn.init.zeros_(module.bias) elif isinstance(module, nn.Embedding): nn.init.normal_(module.weight, std0.02) def forward(self, idx, targetsNone): B, T idx.shape tok self.token_embedding(idx) pos self.position_embedding(torch.arange(T, deviceidx.device)) x tok pos for block in self.blocks: x block(x) x self.ln_f(x) logits self.lm_head(x) loss None if targets is not None: loss F.cross_entropy(logits.view(-1, logits.size(-1)), targets.view(-1)) return logits, loss这份代码有几个关键点需要理解。第一注意力打分的缩放因子是math.sqrt(self.head_dim)目的是防止点积结果过大导致 softmax 梯度消失。第二causal mask 使用torch.tril生成下三角矩阵再在上三角位置填充-inf这样 softmax 之后未来位置的概率为 0。第三每个 TransformerBlock 都采用 Pre-Norm 结构先 LayerNorm 再进入注意力或 MLP 子层残差连接保留原始输入有助于深层网络稳定训练。还需要注意这个示例的lm_head和token_embedding没有做权重绑定。权重绑定能减少参数量但在教学代码里先不引入这个细节等到复现更完整的模型时再考虑即可。5.4 训练脚本# 文件路径course-mini-gpt/train.py import torch import torch.nn as nn from torch.utils.data import DataLoader from data import CharDataset from model import MiniGPT # 超参数 BLOCK_SIZE 64 BATCH_SIZE 32 EMBED_DIM 128 NUM_HEADS 4 NUM_LAYERS 4 DROPOUT 0.1 LEARNING_RATE 3e-4 TRAIN_STEPS 2000 EVAL_EVERY 200 SEED 42 def load_text(): # 这里是演示数据实际课程中会换成真实的预训练语料 text ( hello world! this is a tiny language model. it learns to predict the next character. we are building an llm from scratch. ) * 200 return text def main(): torch.manual_seed(SEED) text load_text() dataset CharDataset(text, BLOCK_SIZE) loader DataLoader(dataset, batch_sizeBATCH_SIZE, shuffleTrue) model MiniGPT( vocab_sizelen(dataset.stoi), block_sizeBLOCK_SIZE, embed_dimEMBED_DIM, num_headsNUM_HEADS, num_layersNUM_LAYERS, dropoutDROPOUT, ) optimizer torch.optim.AdamW(model.parameters(), lrLEARNING_RATE) model.train() step 0 for epoch in range(100): for x, y in loader: logits, loss model(x, y) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() if step % EVAL_EVERY 0: print(fstep {step}, loss {loss.item():.4f}) step 1 if step TRAIN_STEPS: torch.save(model.state_dict(), mini_gpt.pt) print(训练完成模型已保存到 mini_gpt.pt) return if __name__ __main__: main()训练脚本中的关键细节是梯度裁剪。语言模型训练很容易出现梯度爆炸梯度裁剪能防止参数单步更新过大减少训练发散的概率。另一个容易踩坑的地方是 DataLoader 的shuffleTrue如果忘了 shuffle模型会一直按文本顺序看到数据虽然也能学但收敛会更慢。5.5 文本生成脚本# 文件路径course-mini-gpt/generate.py import torch from data import CharDataset from model import MiniGPT def generate(model, idx, max_new_tokens, temperature1.0): model.eval() for _ in range(max_new_tokens): idx_cond idx[:, -model.block_size:] with torch.no_grad(): logits, _ model(idx_cond) logits logits[:, -1, :] / temperature probs torch.softmax(logits, dim-1) idx_next torch.multinomial(probs, num_samples1) idx torch.cat((idx, idx_next), dim1) return idx def main(): text ( hello world! this is a tiny language model. it learns to predict the next character. we are building an llm from scratch. ) * 200 dataset CharDataset(text, BLOCK_SIZE64) model MiniGPT( vocab_sizelen(dataset.stoi), block_size64, embed_dim128, num_heads4, num_layers4, dropout0.1, ) model.load_state_dict(torch.load(mini_gpt.pt)) model.eval() context torch.tensor([[dataset.stoi[h]]], dtypetorch.long) output generate(model, context, max_new_tokens200, temperature0.8) decoded .join([dataset.itos[i] for i in output[0].tolist()]) print(decoded) if __name__ __main__: main()生成脚本使用的是自回归采样每次把已有序列的最后block_size个 token 输入模型取预测的最后一个位置的概率分布然后按概率采样一个新 token 拼接回去。温度参数控制概率分布的平滑程度温度越低采样越保守温度越高输出越发散。torch.multinomial是从概率分布中采样的核心 API它保证了生成过程不是每次都取最大概率 token因此会有更多变化。6. 运行结果与效果验证代码写完之后按顺序执行训练和生成即可。python train.py python generate.py训练脚本运行后你会在终端看到类似下面的输出step 0, loss 4.1234 step 200, loss 2.9982 step 400, loss 2.5401 step 600, loss 2.3017 step 800, loss 2.1503 step 1000, loss 2.0449 ... step 2000, loss 1.8532 训练完成模型已保存到 mini_gpt.ptloss 的具体数值取决于数据集大小、模型尺寸和随机种子但趋势必须是持续下降的。如果 loss 在某个值附近震荡不降或者直接变成 NaN说明训练配置有问题。这里我使用的演示数据集是非常小的重复文本因此 loss 会降到很低这是正常现象。判断训练成功的标准有三个。第一loss 在训练步数内没有出现 NaN并且整体呈下降趋势。第二训练结束后加载模型能生成与训练文本存在相似规律的内容比如已知的训练文本是英文生成结果即使不完整也会以英文字母和空格为主如果生成的全是不可打印字符说明 tokenizer 或采样逻辑有误。第三模型输出的文本长度正确没有因为位置编码越界而报错。如果你看到生成结果完全和训练文本相同那也可能是过拟合。演示数据集太小模型可能背下来一部分内容。在课程作业里你会使用更大的标准数据集并引入验证集来判断是否过拟合。关于这一点一个直观的验证方法是在训练时保留一小段验证文本观察训练 loss 和验证 loss 的差距。7. 常见问题与排查方法从零搭建大模型的过程中以下问题几乎每个人都会遇到。我整理成表格方便你在遇到异常时快速对照。问题现象可能原因排查方式解决方案loss 变为 NaN学习率过大、混合精度溢出、数据里有异常值先打印 loss 变化曲线确认 NaN 出现时机降低学习率、启用梯度裁剪、改用 bf16 或检查输入loss 完全不下降学习率太小、tokenizer 映射错误尝试用一个 batch 过拟合调大学习率、检查编码解码是否可还原显存 OOMbatch size 过大、序列过长、模型过大观察报错发生在哪个张量操作减小 batch size、缩短序列、启用梯度检查点训练非常慢单卡效率低、未启用混合精度、数据加载是瓶颈使用torch.profiler定位耗时环节启用 AMP、增加 DataLoader workers、考虑多卡 DDP生成文本全是重复温度太低、模型过小或欠拟合试几个不同 temperature 值调高温度、加入 Top-p 采样或重复惩罚分布式训练结果和单卡不一致随机种子未同步、梯度同步逻辑有问题分别记录单卡和多卡每步 loss确保每卡使用相同 seed、检查 DDP/FSDP 配置这里重点展开说明几个高频问题。第一个是 loss 为 NaN。很多人第一反应是换数据集但实际上最常见的原因是学习率过大或者 fp16 混合精度导致梯度溢出。排查时先固定随机种子关闭混合精度跑几步如果恢复正常再逐步开放混合精度。第二个是 loss 不下降。我见过不少同学在数据预处理阶段把字符映射关系写错比如训练集的stoi和推理集不一致模型相当于在猜测一套无关的编码。这时候除了检查数据还要做一个最小实验让模型在单条样本上反复训练如果连单条样本都无法过拟合说明代码逻辑本身有问题。第三个是显存 OOM。对新手来说最直接的止损办法是把 batch size 降到 1确认单个样本能跑通再逐步增大。多卡训练时每张卡的 batch size 不是全局 batch size算梯度时要注意是否需要梯度累积。8. 最佳实践与工程建议代码跑通只是第一步真正让课程有价值的是你如何组织实验、记录结果、排查问题。这套工程能力直接复用到真实项目中。8.1 先跑通最小规模再逐步扩展不要一上来就在大模型上反复尝试。先用一个很小的数据集、很小的模型跑通全流程确认数据流、模型前向、loss 计算、反向传播、保存和加载全部正确。之后再把模型尺寸和数据集放大。这个习惯能省下大量 Debug 时间因为在最小场景下你能更容易判断问题是出在代码逻辑还是资源限制。8.2 固定随机种子保证实验可复现语言模型训练中随机因素非常多包括数据加载的 shuffle、参数初始化、dropout。如果不固定 seed你可能无法判断两次实验的差异来自代码改动还是随机噪声。推荐在脚本入口固定 PyTorch、NumPy 和 Python 内置 random 的 seed。在实验记录里也要写下配置文件的哈希值或版本号方便回溯。8.3 把配置外置而不是写死在代码里训练脚本里的超参数一旦多起来硬编码会很痛苦。建议把block_size、batch_size、learning_rate、model_config等内容整理成 yaml 或 json 文件训练脚本读取配置后运行。课程作业阶段可以不做但如果你想复现多组实验结果配置外置几乎是必须的。8.4 重视数据质量和数据版权模型的性能上限很大程度上由数据决定。课程使用的数据集往往是公开的方便复现和比较。但从零搭建大模型的目标如果是真实产品你还需要注意数据来源的合法性确认数据符合使用条款和隐私规定不要在未授权的情况下使用私人或敏感文本。对生成内容也要有安全过滤意识防止模型产出不当信息。8.5 日志、checkpoint 与监控训练过程中至少每几百步打印一次 loss 和梯度范数。建议把梯度范数的变化也纳入监控因为梯度范数突然暴增往往预示训练即将发散。checkpoint 不要只保存模型权重还应保存优化器状态、当前步数、随机种子和数据索引确保你可以从中间状态恢复训练。8.6 安全边界与权限意识如果你把代码部署到生产集群务必遵循最小权限原则。训练数据、模型权重、实验日志都应放在受控目录中不要用 root 权限运行训练任务。如果涉及多机分布式训练注意通信端口的安全策略避免对外暴露不需要的端口。任何时候对已有模型进行覆盖或删除都要先确认备份。9. 总结与后续学习方向现在回头看CS336 教会你的不只是一个模型结构而是一整套构建和调试大模型的方法论。你会知道自己写的 loss 为什么降不下去也会知道分布式训练里的通信开销到底从哪来更能在别人只会调用框架时判断出一个训练任务真正需要多少算力和显存。课程作业如果完整做下来你对数据、模型、训练、推理、分布式的理解会上一个层次。接下来怎么走取决于你的目标。如果你对模型训练感兴趣可以继续深入研究分布式训练框架的源码试着从 DDP 移植到 FSDP。如果你对推理优化感兴趣可以研究 KV Cache、量化、蒸馏以及 FlashAttention 的实现思路。如果你希望做一个真正可用的产品那么下一步应该尝试在大规模公开数据集上训练一个小规模的领域模型并设计一套验证集和评测指标来跟踪效果。有一点要记住直接抄别人写好的作业代码收获会大打折扣。更建议的做法是自己先独立完成任务再对照官方参考实现检查差异逐行理解别人为什么那样写。这个“先自己写、再对比、再反思”的循环才是手搓大模型真正的价值所在。如果你准备入坑 CS336建议从课程第一部分开始先不要急着看后面的分布式内容。第一周的目标很简单用你自己的代码跑出一个 loss 在下降的小模型。等这一步达成后面的事情都会顺理成章。