想自己从头训一个 LLM很多人第一反应是这得多少张 A100 才玩得起。我一开始也这么想直到真正把整条链路跑通一遍才发现个人开发者完全可以用一张 RTX 3090从零预训练一个小规模语言模型再通过领域数据做适配最后得到一个能在特定场景下真正干活的模型。整个过程最贵的不是显卡而是你对数据、对训练动态、对评估方式的理解。这篇内容就是把我自己从预训练到领域适配踩过的路完整摊开讲。它适合三类人手里有一张 24G 显存的卡、想搞明白 LLM 训练到底怎么回事的开发者已经会调 API 但想深入模型内部机制的工程师以及想用领域数据把通用模型改造成自己人的实践者。我会讲清楚每个阶段为什么这么设计、参数怎么算、坑在哪里而不是丢一堆命令让你照抄。核心关键词会贯穿始终LLM、预训练、领域适配、GPT-2 架构、RTX 3090 的显存账本。1. 先算清楚 RTX 3090 这张卡到底能训多大的模型动手之前必须先做显存预算否则你会在训练跑到第 200 步的时候突然 OOM然后怀疑人生。显存占用主要分四块模型参数、梯度、优化器状态、激活值。前三块是固定的激活值随 batch size 和序列长度线性增长这也是唯一你能通过调参控制的部分。1.1 参数、梯度、优化器状态的显存账本先看固定开销。假设用 fp16 混合精度训练模型参数量为 P模型权重fp162P 字节梯度fp162P 字节Adam 优化器状态fp32 的一阶动量 二阶动量共 8P 字节如果做 fp32 master weights再加 4P 字节所以一个 P 参数的模型固定显存大约是 16P 字节不含 master weights。拿 GPT-2 small 举例它约 124M 参数固定开销约 2GB。GPT-2 medium 约 355M 参数固定开销约 5.7GB。GPT-2 large 约 774M固定开销约 12.4GB。到 GPT-2 XL 的 1.5B固定开销就 24GB 了直接顶满 3090还没算激活值。这就是为什么个人开发者做预训练模型规模基本卡在 124M 到 355M 这个区间。GPT-2 small 是最舒服的起点medium 是 3090 的甜点区上限。1.2 激活值才是真正的变量激活值这块最容易被低估。Transformer 的激活显存大致和batch_size × seq_len × hidden_dim × num_layers成正比。以 GPT-2 small 为例hidden_dim768num_layers12seq_len1024batch_size8 时激活值大概在 3 到 5GB 之间取决于你有没有用梯度检查点gradient checkpointing。梯度检查点是个关键取舍它用计算换显存把激活值砍掉大约 60% 到 70%代价是训练速度慢 20% 到 30%。在 3090 上我强烈建议默认开启因为它能让你把 batch size 或序列长度提上去而这两者对训练稳定性比那点速度重要得多。下面这张表是我实测的 GPT-2 small 在 3090 上的配置对照配置batch sizeseq_len梯度检查点显存占用单步耗时激进161024关闭22.8GB0.42s均衡81024开启14.2GB0.55s保守4512开启7.6GB0.31s均衡配置是我最推荐的留出约 10GB 余量给数据加载和碎片跑起来最稳。1.3 一个容易被忽略的坑显存碎片即使理论显存够PyTorch 的缓存分配器也可能因为碎片导致 OOM。解决办法是设置环境变量PYTORCH_CUDA_ALLOC_CONFexpandable_segments:True这个在长序列训练时特别管用。我踩过一次明明 nvidia-smi 显示只用了 18GB程序却报 OOM加上这个配置后立刻正常。这个细节几乎所有教程都不提但它能救你一晚上的时间。2. 预训练数据从哪来以及怎么洗才不白训模型架构是公开的真正决定模型质量的是数据。个人开发者拿不到 Common Crawl 那种量级但完全可以用小规模高质量数据训出一个在特定领域表现不错的模型。关键不是数据多而是数据干净、去重、格式统一。2.1 数据来源的优先级排序我的建议顺序是这样的公开高质量语料比如维基百科 dump、开源书籍数据集、学术论文摘要。这些文本语法规范、信息密度高适合打基础。领域垂直语料如果你要做领域适配这一步的语料才是核心比如医疗问答、法律条文、代码仓库。自建爬取语料优先级最低因为清洗成本极高噪声多除非你有明确的领域需求且找不到现成数据。对个人开发者来说我建议先用 1 到 5GB 的清洗后文本做预训练这个量级在 3090 上跑几天能出结果足够验证整条链路。2.2 清洗流程的四个必做步骤数据清洗不是可选项是必选项。我总结的流程是去重用 MinHash 或 SimHash 做近似去重。重复数据会让模型记住特定句子泛化能力暴跌。我见过一个数据集里同一段新闻重复了 300 多次训出来的模型张口就是那句话。过滤低质文本按长度、符号比例、重复字符比例过滤。比如去掉平均行长小于 20 字符的、标点占比超过 30% 的、连续重复字符超过 10 个的。格式统一统一编码为 UTF-8去掉 HTML 标签、多余空白、控制字符。敏感内容过滤这一步必须做既是为了合规也是为了避免模型学到不该学的东西。2.3 分词器为什么我不建议自己训很多人想自己训 BPE 分词器觉得这样更贴合领域。我的经验是除非你的领域有大量特殊符号比如化学式、特定代码语法否则直接用 GPT-2 的现成分词器就行。原因有三一是现成分词器经过大规模验证词表覆盖好二是自己训容易训出词表过小导致序列过长或者词表过大导致 embedding 层参数爆炸三是复用现成分词器能让你直接加载社区预训练权重做初始化省掉大量算力。如果你确实要自己训词表大小控制在 32000 到 50000 之间比较合理太小会导致一个词被切成很多 token序列变长训练变慢。3. 预训练阶段从随机初始化到能说人话预训练的目标很简单让模型学会预测下一个 token。但真正跑起来学习率、warmup、梯度裁剪这些细节决定了你是训出一个能说人话的模型还是一堆乱码。3.1 训练目标的本质自回归语言模型的损失就是交叉熵给定前 t-1 个 token预测第 t 个 token 的概率分布然后和真实 token 算交叉熵。这个目标看起来简单但模型为了降低损失会自发学到语法、事实、甚至一定的推理能力。这就是所谓的涌现。理解这一点很重要因为它解释了为什么数据质量比模型结构更关键模型学到的所有东西都来自预测下一个词这个任务数据里没有的东西它学不到。3.2 学习率调度warmup 不是可选项预训练最忌讳一上来就用大学习率。随机初始化的模型参数是乱的大学习率会让它直接发散。标准做法是线性 warmup 加余弦退火warmup 阶段学习率从 0 线性升到峰值通常占总步数的 1% 到 5%退火阶段余弦或线性下降到接近 0峰值学习率对 GPT-2 small 这种规模我实测 3e-4 到 6e-4 比较合适。太大容易发散太小收敛慢。batch size 越大峰值学习率可以适当调大。3.3 梯度裁剪和数值稳定性梯度裁剪阈值一般设 1.0。这个值不是随便定的它能在梯度爆炸时把更新拉回来又不至于在正常训练时干扰更新。配合 fp16 训练时一定要用 loss scaling否则小梯度会下溢成 0。现在 PyTorch 的torch.cuda.amp会自动处理但你得确保开启。我踩过的一个坑早期用 fp16 没开 loss scaling训练 loss 一直卡在某个值不动查了半天才发现是梯度下溢。换成自动混合精度后立刻正常。3.4 一个可复现的训练配置下面是我在 3090 上跑 GPT-2 small 预训练的核心配置用 HuggingFace Trainer 或自己写循环都适用config { model: gpt2-small, # 124M 参数 seq_len: 1024, batch_size: 8, # 单卡 grad_accum: 4, # 等效 batch 32 lr: 5e-4, warmup_ratio: 0.03, weight_decay: 0.1, grad_clip: 1.0, precision: fp16, gradient_checkpointing: True, max_steps: 100000, }等效 batch size 是 8 × 4 32这个量级对 124M 模型足够稳定。训练 10 万步大概需要 3 到 5 天取决于你的数据吞吐。提示训练过程中一定要定期保存 checkpoint并且用验证集 loss 监控过拟合。预训练也会过拟合尤其是数据量小的时候。4. 领域适配让通用模型变成自己人预训练出来的模型是个通才什么都能聊一点但在你的具体领域里往往不够专业。领域适配就是在这个基础上用领域数据继续训练把模型的知识分布往你的目标领域偏移。4.1 全量微调 vs 参数高效微调领域适配有两条路全量微调更新所有参数。效果好但显存需求高且容易灾难性遗忘把预训练学到的通用能力忘掉。参数高效微调PEFT只训练一小部分参数比如 LoRA。显存需求低不容易遗忘适合个人开发者。我的建议是如果你的领域数据和预训练数据分布差异大用全量微调但降低学习率比如 1e-5 到 5e-5如果差异不大或者你显存紧张用 LoRA。LoRA 在 3090 上训 355M 模型毫无压力甚至能训更大的。4.2 LoRA 的关键参数怎么选LoRA 的核心参数是 rankr和 alpharank决定低秩矩阵的维度越大表达能力越强但参数越多。一般 8 到 64 之间领域适配常用 16 或 32。alpha缩放因子通常设为 rank 的 1 到 2 倍。target_modules决定给哪些层加 LoRA。对 GPT-2通常加在 attention 的 q、v 投影上效果和成本平衡最好。我实测下来r16、alpha32、target 为 q_proj 和 v_proj是 3090 上性价比最高的组合。4.3 灾难性遗忘的应对领域适配最大的风险是模型把通用能力忘了。表现是领域内问题答得很好但一问通用问题就胡言乱语。应对方法有三个混合数据领域数据里掺 10% 到 20% 的通用数据让模型保持通用能力。低学习率领域适配的学习率要比预训练低一个数量级。早停用通用验证集监控一旦通用能力下降就停。我踩过一次坑用纯医疗数据全量微调结果模型连今天天气怎么样都答不利索了。后来掺了 15% 的通用语料问题就解决了。5. 评估怎么知道你的模型到底行不行训练 loss 下降不代表模型变好。评估是整条链路里最容易被敷衍、但最重要的一环。5.1 困惑度只是起点困惑度perplexity衡量模型对文本的惊讶程度越低说明模型越适应这个分布。但它有个致命问题它只反映模型对 token 的预测能力不反映生成质量。一个模型可能困惑度很低但生成的内容重复、空洞。所以困惑度只能作为训练监控指标不能作为最终评估。5.2 生成质量的人工评估对个人开发者最实际的评估方式是人工看生成结果。我通常准备三类 prompt领域内 prompt看模型是否掌握了领域知识通用 prompt看模型是否遗忘了通用能力边界 prompt看模型在不确定时是否会胡编每类准备 20 到 50 条生成后人工打分。这个工作量大但比任何自动指标都可靠。5.3 自动化评估的补充如果要做自动化可以用一些公开榜单的思路比如用多选题做知识探测或者用固定 prompt 做生成然后算 BLEU、ROUGE。但这些指标对开放式生成参考价值有限别过度依赖。评估维度方法适用阶段语言建模能力困惑度训练全程监控领域知识领域问答人工评估领域适配后通用能力保持通用 prompt 人工评估领域适配后生成多样性去重率、n-gram 多样性生成质量评估6. 个人开发者最容易踩的五个坑这一节是我用真金白银的算力和时间换来的每一条都值得你停下来看两遍。6.1 数据没去重就开训这是最致命的。重复数据会让模型过拟合到特定样本表现为生成时反复输出同一句话。我见过有人训出来的模型不管问什么都回感谢您的提问就是因为数据里这句话出现了太多次。去重成本很低但收益极高务必做。6.2 学习率照搬论文论文里的学习率是针对特定 batch size 和模型规模调的直接照搬大概率不合适。正确做法是从小学习率开始试观察 loss 曲线如果 loss 震荡剧烈说明学习率太大如果 loss 下降极慢说明太小。6.3 忽略验证集很多人只盯着训练 loss结果模型过拟合了都不知道。验证集不用大几千条就够但必须和训练集分布一致且不重叠。6.4 领域适配时学习率没降领域适配的学习率必须比预训练低。我见过有人用预训练的学习率做领域适配结果模型直接崩了loss 飙升。记住微调的学习率通常是预训练的 1/10 到 1/100。6.5 不做 checkpoint 管理训练几天后想回退到某个中间状态结果发现只存了最后一个 checkpoint这种绝望希望你永远不要体会。建议每 1000 步存一次并保留最近 3 到 5 个。7. 从训练到部署让模型真正跑起来训完模型只是第一步能把它部署成一个可用的服务才算闭环。个人开发者不需要复杂的推理框架但有几个点必须注意。7.1 推理时的显存优化推理比训练省显存因为不需要梯度和优化器状态。但长序列生成时KV cache 会占用大量显存。对 GPT-2 small1024 序列长度下 KV cache 大概几百 MB可以接受。如果序列更长就要考虑量化或者分页注意力。7.2 量化推理把模型量化到 int8 或 int4能大幅降低显存占用代价是轻微的质量损失。对个人部署int8 量化通常是无痛的int4 需要评估质量损失是否可接受。用 bitsandbytes 或 GPTQ 都能做。7.3 一个简单的推理服务最简方案是用 FastAPI 包一层加载模型后提供生成接口。注意要加请求队列和超时控制否则并发请求会把显存打爆。我一般用单 worker 加队列简单可靠。from fastapi import FastAPI from transformers import pipeline app FastAPI() generator pipeline(text-generation, model./my-model, device0) app.post(/generate) def generate(prompt: str, max_new_tokens: int 128): out generator(prompt, max_new_tokensmax_new_tokens, do_sampleTrue, temperature0.8) return {text: out[0][generated_text]}这个服务在 3090 上跑 GPT-2 small单请求延迟大概 200 到 500ms足够个人使用。7.4 关于 ONNX 部署如果你追求推理速度可以把模型导出成 ONNX。但对 GPT-2 这种自回归模型ONNX 的收益有限因为生成是逐 token 的瓶颈在串行解码而不是单次前向。我的建议是先用 PyTorch 原生推理确认瓶颈后再考虑 ONNX。8. 关于 LLM 本体和知识库的一些延伸思考最近LLM 本体和知识库这类概念很热很多人在讨论把 LLM 和结构化知识结合。我的看法是对个人开发者先把基础链路跑通比追这些新概念更重要。LLM 的本质是概率模型它没有真正的知识库所有知识都编码在参数里且是模糊的、分布式的。所谓 LLM 本体本质是想给模型一个结构化的知识框架来约束它的输出。这个方向有价值但实现复杂度高不适合作为入门项目。如果你确实想做知识增强RAG检索增强生成是更实际的路径把领域文档做成向量库生成时先检索再让模型基于检索结果回答。这个方案不需要重新训练模型成本低效果立竿见影。等 RAG 跑通了再考虑更复杂的图结构或本体方案。我在实际项目里的体会是个人开发者最大的优势是灵活能快速试错。不要一上来就追求大而全先用小模型、小数据把预训练到部署的完整链路走一遍理解每个环节的取舍再逐步放大。这个过程里学到的关于数据、训练动态、评估的知识比模型本身值钱得多。等你真正跑通过一次再回头看那些论文和框架会发现一切都清晰了。