承接与场景上篇把 5 万条客服指令洗到了可用状态这一篇正式开训。训练框架选 PEFT 库里的 LoRA 几乎是默认决定——全量微调 7B 的显存账单多数团队付不起而 LoRA 用不到 1% 的可训练参数就能追平甚至超过全量效果。但默认决定不等于明白决定rank 设 8 还是 64alpha 和 rank 到底什么关系只挂 q、v 和挂全部线性层差多少这三个旋钮各自管什么本篇用两本账说清一本是显存的算术账一本是学习动力学的模拟账。案例设定为财经内容团队的报告分析模型。照例声明实验为纯 Python 3.12 标准库确定性模拟生产请用 PyTorch PEFT。LoRA 改的是矩阵的什么LoRA 的假设一句话微调对权重矩阵的改动量是低秩的。全量微调让 W比如 4096×4096里每个元素都动LoRA 则冻结 W只训练两个窄矩阵 Ar×4096和 B4096×r前向变成 y Wx (α/r)·B·A·x。r 就是改动量允许有多复杂的预算r16 意味着这轮微调对每个权重矩阵的修正被限制在 16 维子空间里。论文验证过指令微调造成的权重扰动有效秩远小于矩阵本身维度所以小 r 就够用。由此带来三个工程事实训练显存大降只有 1% 参数需要梯度和优化器状态推理零开销α/r·BA 可以直接加回 W合并后矩阵乘法维度不变实验一验证合并的数值等价性多任务友好一个底座挂多个 LoRA 适配器按请求切换运维成本近似一个基座加一摞几十 MB 的小文件。代价是低秩假设不总能成立任务需要的改动方向超过预算时效果对 rank 敏感——这正是模拟实验要演示的。实验一把显存账算成表格显存大头有四块冻结底座权重、可训练参数的权重梯度优化器状态、激活值、以及碎片。按 bf16 权重 2 字节、可训练参数 16 字节权重 2梯度 2Adam 的 master/m/v 各 4、7B 类 GQA 结构逐层累加梯度检查点下激活按每层只存入口张量估7B 模型训练显存账: 全量微调 vs 不同 rank/目标模块的 LoRA, 确定性算术。H,L,I4096,32,11008# 隐藏维 / 层数 / FFN 中间维 (7B 类结构)KV_H,HEAD8,128# GQA: 8 个 kv 头, 每头 128 维VOCAB32000GB1024**3MODULES{q_proj:(H,H),k_proj:(H,KV_H*HEAD),v_proj:(H,KV_H*HEAD),o_proj:(H,H),gate_proj:(I,H),up_proj:(I,H),down_proj:(H,I),}per_layersum(a*bfora,binMODULES.values())totalper_layer*L2*H*VOCAB# 加 embedding 与 lm_headprint(7B 类结构: 每层 %.3fM 参数, 全模型约 %.2fB%(per_layer/1e6,total/1e9))BS,SEQ4,2048act_ckptL*BS*SEQ*H*2*2# 梯度检查点: 每层只存入口激活act_fullact_ckpt*12# 不重计算: 层内中间激活全留存deflora_params(r,targets):returnsum(r*(ab)forn,(a,b)inMODULES.items()ifnintargets)*L scenarios[(全量微调,total,act_ckpt),(LoRA r16 q,v,lora_params(16,{q_proj,v_proj}),act_ckpt),(LoRA r16 全部线性层,lora_params(16,set(MODULES)),act_ckpt),(LoRA r64 全部线性层,lora_params(64,set(MODULES)),act_ckpt),(LoRA r16 全层 无检查点,lora_params(16,set(MODULES)),act_full),]print(%-22s 可训练参数 占比 显存合计GB 24G单卡%方案)forname,trainable,actinscenarios:mem(total*2trainable*16act)/GBprint(%-22s %8.1fM %6.2f%% %9.1f %7s%(name,trainable/1e6,100*trainable/total,mem,可ifmem22else否))运行输出7B 类结构: 每层 177.209M 参数, 全模型约 5.93B 方案 可训练参数 占比 显存合计GB 24G单卡 全量微调 5932.8M 100.00% 103.5 否 LoRA r16 q,v 6.8M 0.11% 15.2 可 LoRA r16 全部线性层 36.8M 0.62% 15.6 可 LoRA r64 全部线性层 147.3M 2.48% 17.2 可 LoRA r16 全层 无检查点 36.8M 0.62% 59.6 否这张表的读法很重要。第一rank 从 16 提到 64可训练参数翻了四倍0.62%→2.48%显存只多 1.6GB——rank 几乎不是显存问题底座才是冻结的 5.93B bf16 权重独占 11GB。想省显存动 rank 不如动底座精度下一篇 QLoRA 的主题。第二r16 只挂 q,v 是 6.8M 参数、挂全部线性层是 36.8M——差五倍多但显存只差 0.4GB因为省下的那点优化器状态在 15GB 面前是零头。也就是说挂哪些模块的决定影响的是效果与训练速度不是能不能跑得下。第三关掉梯度检查点从 15.6GB 弹到 59.6GB——24G 单卡直接出局这是所有低显存教程都默认开着 gradient_checkpointing 的原因。实验二rank 管容量alpha 管步幅第二个实验把 LoRA 的最小单元抽象出来6×6 权重矩阵冻结 W用 s·B·Asα/r去逼近一个满秩的理想增量 DT−W手写 SGD 训练 400 步。三个待验证的命题挂旁路的前向和把 B·A 合并进 W 的前向数值等价rank 决定能逼近到什么程度容量逼近不满时残差由秩瓶颈造成alpha 只改变收敛速度不改变最终能到的地方在满容量前提下。LoRA 三件事手算: 合并等价、rank 学习容量、alpha 缩放 (纯 Python SGD)。importrandom DIM6defmatmul(A,B):n,k,mlen(A),len(B),len(B[0])return[[sum(A[i][t]*B[t][j]fortinrange(k))forjinrange(m)]foriinrange(n)]deffro(A):returnsum(v*vforrowinAforvinrow)**0.5rngrandom.Random(7)W[[rng.gauss(0,1)for_inrange(DIM)]for_inrange(DIM)]# 基座权重T[[rng.gauss(0,1)for_inrange(DIM)]for_inrange(DIM)]# 任务所需目标D[[T[i][j]-W[i][j]forjinrange(DIM)]foriinrange(DIM)]# 理想权重增量(满秩)x[rng.gauss(0,1)for_inrange(DIM)]deffit(r,alpha,steps400,lr0.05):salpha/r# LoRA 缩放: 前向为 Wx s * BAxarrandom.Random(100r)A[[ar.gauss(0,0.3)for_inrange(DIM)]for_inrange(r)]B[[0.0]*rfor_inrange(DIM)]# B 零初始化: 起点严格等价于基座BA[[0.0]*DIMfor_inrange(DIM)]for_inrange(steps):BAmatmul(B,A)E[[s*BA[i][j]-D[i][j]forjinrange(DIM)]foriinrange(DIM)]foriinrange(DIM):fortinrange(r):B[i][t]-lr*2*s*sum(E[i][j]*A[t][j]forjinrange(DIM))fortinrange(r):forjinrange(DIM):A[t][j]-lr*2*s*sum(B[i][t]*E[i][j]foriinrange(DIM))returnBA,s BA,sfit(2,2.0)y_side[sum(W[i][j]*x[j]forjinrange(DIM))s*sum(BA[i][j]*x[j]forjinrange(DIM))foriinrange(DIM)]y_merge[sum((W[i][j]s*BA[i][j])*x[j]forjinrange(DIM))foriinrange(DIM)]print(挂旁路前向 vs 合并进权重前向, 最大逐维偏差: %.2e (浮点噪声级可无损合并)%max(abs(a-b)fora,binzip(y_side,y_merge)))print(rank 决定逼近满秩增量的容量, 相对残差 ||sBA-D||/||D||:)forrin(1,2,3,6):BA,sfit(r,2.0)resfro([[s*BA[i][j]-D[i][j]forjinrange(DIM)]foriinrange(DIM)])print( rank%d - %.4f%(r,res/fro(D)))print(满容量 rank6 下, alpha(缩放 s 的分子)只改变收敛快慢:)foralphain(0.5,1.0,2.0,4.0):forstepsin(40,400):BA,sfit(6,alpha,stepssteps)resfro([[s*BA[i][j]-D[i][j]forjinrange(DIM)]foriinrange(DIM)])print( alpha%.1f 步数%3d - 残差 %.4f%(alpha,steps,res/fro(D)))运行输出挂旁路前向 vs 合并进权重前向, 最大逐维偏差: 8.88e-16 (浮点噪声级可无损合并) rank 决定逼近满秩增量的容量, 相对残差 ||sBA-D||/||D||: rank1 - 0.8143 rank2 - 0.6086 rank3 - 0.3856 rank6 - 0.0000 满容量 rank6 下, alpha(缩放 s 的分子)只改变收敛快慢: alpha0.5 步数 40 - 残差 0.9701 alpha0.5 步数400 - 残差 0.0977 alpha1.0 步数 40 - 残差 0.6366 alpha1.0 步数400 - 残差 0.0065 alpha2.0 步数 40 - 残差 0.2226 alpha2.0 步数400 - 残差 0.0000 alpha4.0 步数 40 - 残差 0.1079 alpha4.0 步数400 - 残差 0.0000三段输出对应三段结论。偏差 8.88e-16 就是 float64 的舍入噪声坐实了合并等价训练完把 s·B·A 加回 W推理框架完全不需要知道 LoRA 存在延迟零增加。中段是全篇最重要的一列数理想增量 D 是满秩6的rank1 逼近完还剩 81% 的能量没学到rank6 才归零——残差不是训练不充分是容量到顶多跑一万步也不会变小。真实世界里 D 的有效秩由任务决定改话术风格可能 4~8 就够注入新判定流程可能需要 32~64。末段演示 alpha 的角色满容量下 alpha 从 0.5 到 4.0400 步后全部收敛到同一终点差别只在 40 步时走了多远——alpha/r 这个缩放因子作用在梯度与更新量上等效于给低秩分支调了个学习率倍率。PEFT 默认 alpha16、r8/16s1~2是经验起点调不动效果时优先怀疑 rank其次才动 alpha反过来做就是在用容量换步幅的错觉。常见陷阱rank 玄学递增r16 没效果就加到 128。先看数据是不是根本没到容量门槛多数失败是数据问题rank 翻倍对照实验只加一个变量否则归因失效。改 alpha 当调参玩具sα/r动了 alpha 等于动了有效学习率和调度器叠加后 LR 已经不是你以为的那个 LR。规矩一次实验只让 r 或 alpha 其一变化另一个固定 s2。只挂 q,v 的肌肉记忆2021 年的论文设定GQA 模型上 k_proj 变短后作用上升、FFN 承载大量领域知识QLoRA 论文直接建议全线性层。显存账已证明全挂几乎不多花钱。推理忘合并或忘关 adapter同一底座加载 LoRA 的方式PEFT 动态加载 vs 合并导出性能与显存不同灰度时两条路径的数值输出要做一致性抽查。多 LoRA 叠乘幻觉两个独立训练的 adapter 直接相加不等于联合训练第七篇专讲合并的干扰问题多任务先考虑分开训路由。落地清单预算表先行底座 bf16 2 字节/参 检查点激活是地板rank 与目标模块只在上层微调起点配置r16、alpha32、目标模块全部线性层、梯度检查点开对照实验纪律rank 与 alpha 不同时动评估用第六篇的固定评测集导出决策单模型单用途→合并导出一底座多租户→保留 adapter 动态加载记住容量与步幅分工学不会→rank学得慢→alpha/LR两者症状在 loss 曲线上可区分显存账里那个 11GB 的冻结底座才是真正的大石头。下一篇《LLM 微调实战4QLoRA 与 4bit 量化单卡跑通 7B 微调》把底座压到 3.5GB看看量化误差花在哪里、NF4 为什么比普通 int4 更适合权重分布。参考来源LoRA: Low-Rank Adaptation of Large Language Modelshttps://arxiv.org/abs/2106.09685QLoRA: Efficient Finetuning of Quantized LLMshttps://arxiv.org/abs/2305.14314LoRA Learns Less and Forgets Lesshttps://arxiv.org/abs/2405.09673Hugging Face PEFT 文档https://huggingface.co/docs/peft/indexZeRO: Memory Optimizations Toward Training Trillion Parameter Modelshttps://arxiv.org/abs/1910.02054