个人开发者想在本地把一个大语言模型从零训练到能干活这件事在两三年前还属于实验室专属现在一块 RTX 3090 加上几周业余时间就能跑通全流程。我自己从去年开始折腾这条链路从最朴素的 GPT-2 复现到后来做垂直领域的适配中间踩的坑足够写一本小册子。这篇就把预训练、领域适配、评测、部署这几段路完整走一遍重点讲清楚每一步为什么这么做、参数怎么算、哪些地方最容易翻车。不管你是刚入门想搞明白 LLM 到底怎么炼出来的还是已经跑过微调想往上游再走一步应该都能从里面捞到点能直接用的东西。1. 先想清楚个人开发者做 LLM 全流程的边界在哪很多人一上来就问我要训练一个自己的大模型但这个问题本身太模糊。个人开发者的算力、数据、时间都是硬约束先把边界划清楚比急着写代码重要得多。1.1 算力账RTX 3090 到底能扛多大的模型RTX 3090 的规格是 24GB 显存、936 GB/s 显存带宽、约 35 TFLOPS 的 FP32 算力Tensor Core 加持下 FP16 能到 70 TFLOPS。这几个数字决定了你能玩的模型规模上限。先算显存。训练时的显存占用大致分四块模型参数、梯度、优化器状态、激活值。以 Adam 为例每个参数需要存 FP16 权重2 字节 FP16 梯度2 字节 FP32 一阶动量4 字节 FP32 二阶动量4 字节合计 12 字节。也就是说纯优化器相关开销就是参数量的 12 倍。1.5 亿参数GPT-2 small 级别12 × 1.5亿 ≈ 1.8GB加上激活值单卡 3090 轻松跑batch size 还能开挺大3.5 亿参数GPT-2 medium约 4.2GB仍然宽裕7.7 亿参数GPT-2 large约 9.2GB需要配合梯度累积和梯度检查点13 亿参数以上单卡就开始吃力必须上 ZeRO 或者 LoRA 这类参数高效方法激活值这块经常被忽略。它和 batch size、序列长度、层数成正比。序列长度从 512 拉到 1024激活值大概翻倍。所以如果你显存吃紧优先砍序列长度和 batch size而不是砍模型。提示3090 不支持 NVLink 桥接消费卡被砍了多卡只能走 PCIe通信带宽是瓶颈。个人开发者别指望多卡线性加速两张 3090 的实际吞吐大概只有单卡的 1.6 到 1.7 倍。1.2 数据账预训练语料从哪来、要多少GPT-2 原始论文用了 40GB 的 WebText。个人开发者显然拿不到这个量级但好消息是——你不需要从零预训练一个通用模型那是在跟大厂拼烧钱。合理的定位是用公开的小规模高质量语料做继续预训练continue pretraining让模型适应你的领域分布而不是重新学语言。常见可用的公开语料语料来源规模特点适用场景中文维基百科 dump约 5GB 纯文本质量高、覆盖广通用中文继续预训练开源书籍语料10-50GB长文本、连贯长上下文能力领域论坛/文档视情况垂直、口语化领域适配代码语料数十GB结构化代码能力我自己的经验是继续预训练阶段 1-5GB 的高质量领域文本就能看到明显效果关键是质量而不是数量。一堆爬来的垃圾文本训完模型只会学会说废话。1.3 时间账一次完整训练要跑多久以 1.5 亿参数模型、1GB 语料、单卡 3090 为例做个粗算。1GB 中文文本大约 3-5 亿 token。假设 batch size 设为 32、序列长度 1024那么一个 step 处理 32768 token。跑完一遍1 epoch需要约 10000-15000 个 step。3090 上 1.5 亿参数模型、序列 1024 的前向反向实测大概每秒 3-5 个 step取决于优化程度。取中间值 4那么 1 epoch 大约需要 2500-3750 秒也就是 40 分钟到 1 小时。跑 3-5 个 epoch一个下午就能出结果。这个量级对个人开发者是友好的。但如果你要碰 7B 级别的模型即使只做 LoRA 微调单卡 3090 跑 1GB 数据也得以天为单位计算。所以量力而行从小的开始。2. 预训练阶段从零复现一个 GPT-2 级别的模型这一节讲的是真正的从随机初始化开始训练不是加载预训练权重。虽然个人开发者最终大概率会用现成权重做适配但亲手跑一遍预训练你对 LLM 的理解会发生质变。2.1 模型架构选型为什么还是 GPT-2 架构现在新架构层出不穷RoPE 旋转位置编码、RMSNorm、SwiGLU 激活、GQA 分组查询注意力这些都比 GPT-2 那套绝对位置编码、LayerNorm、GELU、标准 MHA先进。但个人开发者做预训练实践我仍然推荐从 GPT-2 架构起步理由有三第一实现简单代码量小出 bug 容易定位。GPT-2 的结构就是 decoder-only Transformer 堆叠没有花哨的变体你对着论文能一行行核对。第二社区资源丰富。nanoGPT、minGPT 这些教学项目都是 GPT-2 架构遇到问题一搜就有答案。第三作为 baseline 足够。你要验证的是我的训练流程对不对而不是我的架构有多先进。等流程跑通了再换 RoPE、SwiGLU 这些组件做对比实验才有意义。具体配置上我建议从 GPT-2 small 的规格起步12 层、768 隐藏维度、12 个注意力头、词表 50257GPT-2 原版 BPE、上下文长度 1024。参数量约 1.24 亿。这个规模在 3090 上训练和调试都很舒服。2.2 数据预处理tokenizer 训练与分片预训练第一步不是搭模型是处理数据。这里有个新手常犯的错误直接拿 GPT-2 的英文 tokenizer 去编码中文。结果就是中文被切成大量字节级碎片一个汉字可能占 2-3 个 token序列效率极低模型学起来也费劲。正确做法是训练一个中文友好的 tokenizer。我用的是 SentencePiece 的 BPE 模式词表大小设 32000 到 50000 之间。词表太小会导致序列过长太大则 embedding 层参数膨胀、低频 token 学不好。中文场景下 40000 左右是个不错的平衡点。训练 tokenizer 的语料不需要全量采样 100-500MB 就够但要保证领域覆盖。代码大致是这样import sentencepiece as spm spm.SentencePieceTrainer.train( inputcorpus_sample.txt, model_prefixzh_bpe, vocab_size40000, model_typebpe, character_coverage0.9995, # 中文建议接近 1 num_threads16, max_sentence_length8192, )character_coverage这个参数对中文很关键。默认 0.9995 意味着覆盖 99.95% 的字符剩下 0.05% 的罕见字会被映射成 UNK。中文生僻字多如果你做的是古籍、医学这类领域建议调到 0.9999 甚至 1.0。tokenize 完之后要把所有 token id 拼成一个大数组然后切分成固定长度的样本。这里有个细节样本之间要不要加分隔符我的做法是在每个文档末尾加一个 EOS token让模型学会文档边界这个概念。切分时用滑动窗口stride 设为序列长度的一半避免边界信息丢失。处理完的数据存成二进制文件numpy 的 .bin 或者 memmap训练时用内存映射读取比每次读文本快几个数量级。2.3 训练循环里的关键参数与踩坑点训练循环本身不复杂但有几个参数直接决定成败。学习率与 warmup。GPT-2 原论文用的峰值学习率是 2.5e-4配合 2000 步的线性 warmup之后余弦衰减到峰值的 10%。这个配置在小模型上依然好用。warmup 不能省否则训练初期梯度爆炸loss 直接飞。我试过省掉 warmup前 100 步 loss 从 10 飙到 NaN血的教训。梯度裁剪。max_norm 设 1.0 是标配。LLM 训练中偶尔会出现梯度尖峰裁剪能防止单个 batch 把模型带偏。权重衰减。AdamW 的 weight decay 设 0.1且只对权重矩阵生效不对 LayerNorm 和 bias 生效。这个细节很多实现会搞错导致效果打折。混合精度。3090 支持 BF16比 FP16 更稳动态范围大不容易溢出。用 torch.autocast 包住前向配合 GradScalerBF16 其实不太需要但 FP16 必须。实测 BF16 下训练速度比 FP32 快约 1.8 倍显存省 30% 左右。梯度累积。显存不够时用累积模拟大 batch。比如想要等效 batch 64但显存只够 16那就累积 4 步再更新一次。注意 loss 要除以累积步数否则梯度会放大。一个典型的训练循环骨架scaler torch.cuda.amp.GradScaler(enableduse_fp16) for step, batch in enumerate(loader): with torch.autocast(device_typecuda, dtypetorch.bfloat16): logits, loss model(batch) loss loss / grad_accum_steps scaler.scale(loss).backward() if (step 1) % grad_accum_steps 0: scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) scaler.step(optimizer) scaler.update() optimizer.zero_grad(set_to_noneTrue) # 学习率调度 lr get_lr(step) for pg in optimizer.param_groups: pg[lr] lr2.4 怎么判断预训练训对了loss 曲线是第一个信号。健康的曲线应该是初期快速下降然后进入平缓下降区间偶尔有小波动但整体向下。如果 loss 长时间不降检查学习率是不是太小如果 loss 震荡剧烈检查学习率是不是太大或者 batch 太小。但 loss 低不代表模型好。我见过 loss 降到 3.0 但生成全是重复文本的情况。所以除了 loss一定要做生成抽样。每隔一定步数用固定 prompt 生成几段文本人工看质量。这个习惯能帮你早发现模型在背数据或者模式崩溃这类问题。还有一个技巧算验证集的 perplexity。perplexity exp(loss)直观理解是模型在每一步平均要在多少个候选词里犹豫。中文模型在领域数据上perplexity 降到 20 以下就算不错了。3. 领域适配让通用模型学会说你的行话预训练出来的模型是个通才但你要它干具体活比如回答医疗问题、写法律文书、生成代码就得做领域适配。这一步是个人开发者最能出成果的地方因为大厂做通用模型你可以在垂直领域做到比它更懂行。3.1 继续预训练 vs 指令微调先分清你要哪种这两个概念经常被混为一谈但目标完全不同。继续预训练Continue Pretraining在预训练权重基础上用领域语料继续做自监督训练还是预测下一个 token。目的是让模型吸收领域知识和表达习惯。数据不需要标注纯文本就行。指令微调SFT用指令-回答配对数据训练让模型学会遵循指令。目的是对齐行为让模型知道用户问什么我该怎么答。数据需要人工构造或筛选。顺序上先继续预训练再指令微调。如果跳过继续预训练直接 SFT模型对领域术语的理解不够回答会很外行。3.2 继续预训练的数据配比与训练策略继续预训练最大的坑是灾难性遗忘。如果全用领域数据猛训模型会忘掉通用能力变得只会说领域黑话连基本对话都不会了。我的做法是混合数据领域数据占 70-80%通用高质量数据占 20-30%。通用数据可以用维基、开源书籍保证模型不丢失基础语言能力。学习率要比从头预训练小一个量级用 1e-5 到 5e-5 之间。因为权重已经很好大学习率会把它们破坏掉。训练轮数也别多1-3 个 epoch 通常就够再多就过拟合了。有个判断过拟合的实用方法留一个领域验证集和一个通用验证集同时监控两个 loss。如果领域 loss 降但通用 loss 升说明遗忘开始了该停或者调低领域数据比例。3.3 LoRA 与全参数微调的取舍显存不够或者想快速迭代时LoRA 是首选。它的原理是在原权重旁挂一对低秩矩阵 A 和 B只训练这两个小矩阵原权重冻结。假设原权重是 d×dLoRA 的秩 r 设为 8 或 16那么新增参数只有 2×d×r相比 d² 小了几个数量级。以 7B 模型为例全参数微调需要约 84GB 显存12 字节/参数单卡 3090 根本不可能。而 LoRAr16只训练约 0.1% 的参数显存需求降到 16-20GB3090 刚好能跑。但 LoRA 不是万能的。它的表达能力受秩 r 限制对于需要大幅改变模型行为的任务比如把英文模型改成中文模型效果不如全参数微调。我的经验是领域知识注入、风格适配LoRA 足够能力迁移、语言切换全参数微调或继续预训练小模型1.5B 以下直接全参数微调显存够LoRA 的秩选择也有讲究。r8 适合轻量适配r16-32 适合中等改造r64 以上收益递减明显。alpha 一般设为 r 的 2 倍这是社区经验值。3.4 领域适配效果的验证方法训完怎么知道有没有用别只看 loss。我一般做三组测试第一领域术语理解。准备一批领域专有名词让模型解释或造句看是否准确。第二通用能力保持。跑几个通用问答确认模型没变傻。第三下游任务指标。如果你有具体的下游任务分类、抽取、生成直接在上面测准确率或 BLEU/ROUGE。有个反直觉的发现领域适配后模型在领域任务上的提升往往没有想象中大但在表达自然度上的提升很明显。也就是说它不一定知道更多但说话更像行内人了。这个价值在客服、写作类应用里其实很关键。4. 评测与部署把模型真正用起来训练只是前半程模型训出来不能落地等于白干。这一节讲评测怎么做、模型怎么部署到实际能用的状态。4.1 公开榜单与自建评测集的配合Open LLM Leaderboard 这类公开榜单可以看但别太当真。原因有二一是榜单任务和你的实际场景大概率不匹配二是榜单存在数据污染问题模型可能在训练时见过测试集。我的做法是公开榜单看趋势自建评测定生死。自建评测集要满足几个条件覆盖你的真实使用场景、有明确的评分标准、规模不用大100-500 条就够但要有代表性。评分标准上生成任务可以用人工打分1-5 分或者 GPT-4 类模型做裁判。分类/抽取任务直接算准确率、F1。关键是评测集要固定每次迭代都用同一套才能对比出改进。4.2 量化与推理加速让模型跑得动训好的模型动辄几个 GB推理还慢。量化是必选项。常见方案量化方案精度显存节省速度适用FP16高基准基准有充足显存INT8较高约 50%快平衡之选INT4 (GPTQ/AWQ)中约 75%很快显存紧张GGUF (llama.cpp)可调灵活CPU 友好边缘部署3090 上跑 7B 模型FP16 需要约 14GB 显存INT4 只要 4GB 左右还能留出空间给长上下文。实测 INT4 量化的质量损失在多数任务上肉眼难辨但速度提升明显。ONNX 导出是另一条路能把模型转到 ONNX Runtime 上跑配合量化在 CPU 上也能有不错的速度。适合没有 GPU 的部署环境。4.3 服务化从脚本到可用接口模型能推理之后包一层 API 就能对外服务了。最简单的方案是用 FastAPI 起一个 HTTP 服务加载模型暴露一个 /generate 接口。要注意几点批处理。单条请求一条条推理效率极低要做动态批处理continuous batching把多个请求攒一起算。vLLM 这类框架已经内置了直接用比自己写省事。流式输出。用户等不了模型生成完整段再返回要用 SSE 或者 WebSocket 做流式边生成边推。并发控制。GPU 显存有限并发太高会 OOM。加一个请求队列限制同时处理的请求数。一个最小可用的 FastAPI 服务大概长这样from fastapi import FastAPI from pydantic import BaseModel import torch app FastAPI() model, tokenizer load_model() class Req(BaseModel): prompt: str max_new_tokens: int 256 app.post(/generate) def generate(req: Req): inputs tokenizer(req.prompt, return_tensorspt).to(cuda) with torch.no_grad(): out model.generate(**inputs, max_new_tokensreq.max_new_tokens) return {text: tokenizer.decode(out[0], skip_special_tokensTrue)}生产环境还要加限流、日志、监控但原型阶段这样就够跑通了。5. 个人开发者最容易踩的几个坑最后这部分是我自己踩过、也看别人踩过的坑单独拎出来说因为每一个都够你折腾好几天。5.1 数据质量比数据量重要十倍我早期贪多爬了几十 GB 的网页文本就往里灌结果模型学会了满嘴跑火车、重复、逻辑混乱。后来把数据清洗做到位——去重、去广告、去乱码、按质量过滤——只用 2GB 干净数据效果反而好得多。去重尤其重要。网页数据里重复内容极多模型在重复数据上训练会过度拟合那些片段。用 MinHash 做近似去重是标准做法能去掉 30% 以上的冗余。5.2 别忽视 tokenizer 和模型的匹配换 tokenizer 之后模型的 embedding 层和输出层必须重新初始化不能沿用旧权重。我见过有人换了 tokenizer 但没改模型结果 token id 全对不上训练 loss 死活不降。这个坑很隐蔽因为代码不报错只是效果差。5.3 显存 OOM 的排查顺序遇到 OOM 别急着换小模型按这个顺序排查降低 batch size最直接缩短序列长度开启梯度检查点用时间换显存约省 60% 激活值显存开启梯度累积补偿 batch换用 LoRA 或冻结部分层上 ZeRO 分片多卡多数情况下前两步就能解决。梯度检查点是个好东西代价是训练慢 20-30%但能让你在 3090 上训更大的模型。5.4 学习率调度的细节余弦衰减的最低点别设成 0设成峰值的 10% 左右。设成 0 的话训练末期模型几乎不更新白白浪费算力。另外如果中途要恢复训练学习率调度器的状态也要一起存否则恢复后学习率会从头开始把模型带偏。5.5 保存 checkpoint 的策略别只存最后一个。训练中每隔一定步数存一次并且保留最近几个 最好的一个。我遇到过训练到一半 loss 突然崩掉的情况如果没有中间 checkpoint几天的算力就白费了。存的时候把优化器状态、学习率调度器状态、当前步数一起存方便断点续训。6. 从实践里长出来的几点体会跑完整条链路之后有几个认知是被实践反复验证的。第一LLM 训练是个系统工程模型架构只是其中一环。数据质量、训练稳定性、评测方法任何一环掉链子都会让最终效果大打折扣。个人开发者资源有限更要把力气花在刀刃上——数据清洗和评测集建设回报率远高于调模型结构。第二小模型在垂直领域大有可为。1.5B 到 7B 的模型经过充分的领域适配在很多具体任务上能逼近甚至超过通用大模型。因为通用大模型要兼顾所有场景而你可以把所有容量都用来服务一个领域。这是个人开发者相对大厂的结构性优势。第三别追求一步到位。先跑通最小闭环——小模型、小数据、简单评测——再逐步加码。我见过太多人一上来就要训 7B、要几十 GB 数据结果卡在环境配置就放弃了。从 GPT-2 small 开始一个下午出结果这种正反馈才能支撑你走下去。第四工具链在快速演进但底层原理变化慢。今天用 LoRA明天可能有更好的参数高效方法但预训练-适配-评测-部署这个框架不会变。把每一环的原理搞透换工具只是换皮。如果你也在折腾这条链路建议从复现一个 GPT-2 small 开始把数据、训练、生成、评测全走一遍。走完之后你会发现那些看起来高深的概念——注意力、位置编码、学习率调度——都变成了你亲手调过的参数。这种理解是看多少篇论文都换不来的。