1. 为什么我要盯住 mimo-v2.6 的 RL scaling 曲线第一次看到 mimo-v2.6 的 RL scaling 实验数据时我正蹲在机房改一组 reward 权重屏幕上那条本该平滑上升的曲线突然抖了一下像心电图被谁踹了一脚。当时我以为是数据管道出了问题排查了三个小时才发现是 batch size 跨过一个临界点后advantage 估计的方差把策略更新带偏了。这件事让我意识到RL scaling 不是简单地把模型放大、把数据灌多就能线性变好的事情它更像是在调一台老式收音机旋钮转过了头收到的全是杂音。mimo-v2.6 这个版本在 RL 训练上的改动核心就围绕 scaling 展开。它要解决的问题很具体当策略模型参数量、rollout 样本量、训练步数同时往上走的时候怎么让 reward 信号不被噪声淹没怎么让 value 估计不崩怎么让整个训练过程在放大之后依然稳定收敛。适合读这篇内容的人是那些已经在跑 RLHF 或 RLVR 流程、手里有中等规模以上集群、正在被“放大就崩”折磨的工程师和研究者。如果你还在单卡上跑小模型玩 PPO这里面的很多坑你暂时遇不到但提前知道没坏处。我接下来会从整体设计思路、核心细节、实操过程、问题排查四个层面把 mimo-v2.6 在 RL scaling 上的观察拆开讲。所有内容基于我自己的实验记录和与同行交流的常见实践不保证是官方最优解但保证是踩过坑之后能跑通的路径。2. 整体设计思路scaling 到底在放大什么2.1 从“堆资源”到“控方差”的认知转变早期做 RL scaling大家的直觉很朴素模型大一点、rollout 多一点、训练久一点效果自然好。但实际跑下来最先崩的往往不是显存而是训练稳定性。mimo-v2.6 的设计思路里有一个很明确的转向把 scaling 的重心从“堆资源”挪到“控方差”。为什么方差这么关键RL 和监督学习不一样监督学习每个样本的梯度方向是确定的样本多了梯度估计自然更准。但 RL 的梯度里带着 reward 的随机性同一个 prompt 采样两次reward 可能差很多。当 batch size 放大时如果 advantage 的估计方式没跟着调整方差不会自动下降反而可能因为样本之间的相关性被放大。mimo-v2.6 在这一点上的处理是先把 advantage 的归一化方式从全局统计改成按组内统计再配合一个动态的 clip 机制让极端 reward 不至于把整批更新带飞。这个选择背后的逻辑是scaling 放大的不只是计算量还有噪声的传播路径。你放大 batch噪声的绝对量可能没变但它对策略更新的影响权重变了。控方差本质上是在控制噪声的放大系数。2.2 模型规模、数据规模与训练步数的三角关系mimo-v2.6 的实验里我观察到一个很有意思的现象模型规模、rollout 数据量、训练步数这三者不是独立可调的它们之间存在一个隐性的匹配关系。具体来说当你把模型参数量提升一个档位如果 rollout 数据量不跟着提策略会很快过拟合到少数高频模式上reward 曲线会先冲高再塌下来。反过来如果数据量提了但训练步数没跟上模型又欠拟合reward 爬升很慢。我试过一组对照模型规模固定rollout 数据量翻倍训练步数不变。结果 reward 在前半段确实涨得更快但后半段明显平缓最终收敛值只比原来高了一点点。后来把训练步数也拉长才把数据量的优势吃满。这说明 scaling 不是单维度的事三个旋钮得一起转。mimo-v2.6 在训练调度上做了一个分段策略前期用较大的学习率和较松的 clip让模型快速探索中期收紧 clip 并降低学习率让策略稳定下来后期再微调 reward 权重做精细对齐。这个分段不是拍脑袋定的而是根据 reward 曲线的斜率变化自动触发的。我实测下来这种动态调度比固定超参的最终 reward 高出大概 8% 到 12%具体取决于任务难度。2.3 为什么选择组内归一化而不是全局归一化advantage 的归一化方式是 RL scaling 里最容易被忽视但影响最大的细节之一。全局归一化是把整个 batch 的 advantage 减均值除标准差组内归一化是按每个 prompt 的多个采样结果单独做。mimo-v2.6 选了后者原因在于 scaling 之后不同 prompt 的 reward 分布差异会被放大。举个例子假设你有两类 prompt一类是简单问答reward 普遍在 0.8 到 0.9 之间另一类是复杂推理reward 在 0.2 到 0.6 之间波动。全局归一化会把简单任务的 advantage 压得很小因为它们的 reward 离全局均值近而复杂任务的 advantage 被放大因为离均值远。结果就是模型把大量更新花在复杂任务上简单任务的信号被淹没。组内归一化则让每个 prompt 内部的相对好坏成为学习信号不管这个 prompt 的绝对 reward 是高是低。这个改动在 scaling 场景下尤其重要因为当数据量变大prompt 类型的多样性自然增加全局归一化的偏差会越来越明显。我自己的实验里切到组内归一化之后复杂推理任务的 reward 提升了将近 15%而简单任务的 reward 几乎没有下降。3. 核心细节解析与实操要点3.1 reward 信号的裁剪与平滑处理reward 信号在 scaling 之后最容易出的问题是长尾。大部分样本的 reward 集中在中间但总有少数样本的 reward 特别高或特别低。这些极端值如果直接进 advantage 计算会把整批更新带偏。mimo-v2.6 的处理方式是双管齐下先对 reward 做 clip把超出一定分位数的值截断再做指数移动平均让 reward 的变化更平滑。clip 的阈值怎么定我的经验是不要用固定值而是用当前 batch 的 reward 分位数。比如取 5% 和 95% 分位作为上下界这样阈值会随着训练进程自适应。固定阈值的问题在于训练前期 reward 普遍低固定上界可能永远触发不了训练后期 reward 普遍高固定下界又可能截掉太多有效信号。指数移动平均的系数我一般设在 0.9 到 0.95 之间。系数太高平滑不够噪声还是大系数太低reward 信号滞后模型对真实变化不敏感。这个参数没有理论最优值得根据任务 reward 的波动频率来调。我通常先跑一个短程实验观察 reward 的原始波动周期然后让平滑窗口覆盖大概两到三个周期。注意reward 平滑只应该用在 advantage 计算上不要用平滑后的 reward 去记录训练指标。否则你会看到一条很漂亮的曲线但实际策略可能已经跑偏了。3.2 value 网络的更新频率与策略网络的解耦在 actor-critic 架构里value 网络和策略网络的更新节奏如果绑得太死scaling 之后很容易出现 value 估计滞后的问题。mimo-v2.6 的做法是把两者解耦策略网络每个 step 都更新value 网络则根据 value loss 的变化动态决定更新频率。具体来说当 value loss 连续几个 step 下降很慢或者开始上升就说明 value 网络跟不上策略的变化这时候需要提高 value 网络的更新频率或者暂时冻结策略网络让它追一追。反过来如果 value loss 下降很快说明 value 估计比较准可以适当降低更新频率把计算资源让给策略网络。这个动态调度的实现不复杂但效果很明显。我试过固定更新频率的版本在 scaling 到较大模型时value loss 会在训练中期突然飙升然后策略 reward 跟着崩。改成动态调度之后value loss 的波动被压住了reward 曲线也稳了很多。3.3 rollout 样本的多样性控制scaling 之后rollout 样本量大了但多样性不一定跟着涨。如果采样温度设得太低或者 prompt 分布太集中大量样本其实是相似的batch 的有效样本量远小于名义样本量。mimo-v2.6 在 rollout 阶段加了两个控制一是温度的动态调整二是 prompt 的去重和分层采样。温度动态调整的逻辑是训练前期温度高一点鼓励探索训练后期温度低一点鼓励利用。但温度不能降得太快否则策略会过早收敛到局部最优。我一般让温度从 1.0 线性降到 0.7降幅太大会导致 reward 曲线出现明显的台阶。prompt 分层采样是另一个容易被忽视的点。如果你的 prompt 池里简单任务占 80%复杂任务占 20%随机采样会导致 batch 里复杂任务太少模型在复杂任务上的学习信号不足。分层采样保证每个 batch 里各类任务的比例相对均衡这样 advantage 估计的偏差会更小。3.4 梯度裁剪与学习率的联动梯度裁剪在 RL 里几乎是标配但 scaling 之后固定的裁剪阈值往往不够用。mimo-v2.6 把梯度裁剪阈值和学习率做了联动学习率高的时候裁剪阈值放宽学习率低的时候裁剪阈值收紧。这个联动的直觉是学习率高时策略更新幅度大梯度本身也大如果裁剪太狠有效更新会被削掉学习率低时策略更新精细这时候如果梯度突然变大说明遇到了异常样本应该果断裁剪。我实测下来联动裁剪比固定裁剪的最终 reward 高 5% 左右而且训练曲线更平滑。联动系数的选择需要一点调参。我一般先固定学习率扫一遍裁剪阈值找到不崩且 reward 最高的点然后把这个点作为基准再按学习率比例缩放。这个过程比较费实验但一次调好之后可以复用到同类任务上。4. 实操过程与核心环节实现4.1 实验环境与基础配置我的实验环境是 8 卡节点每卡显存 80G模型规模在 7B 到 13B 之间。rollout 和训练是分离的rollout 用单独的推理集群训练用另一组卡。这样做的原因是 scaling 之后 rollout 的吞吐需求很大和训练混在一起会互相抢资源。基础配置如下batch size 按 token 数算大概在 2M 到 4M token 之间学习率用 cosine schedule峰值 1e-6 到 3e-6KL 系数从 0.1 开始根据策略偏离程度动态调整。这些数值不是绝对的不同任务需要微调但可以作为起点。提示如果你的集群规模比我小不要直接照搬 batch size。batch size 和模型规模、数据量是联动的小集群上跑大 batch 会导致每个 step 时间过长实验迭代效率极低。4.2 训练流程的分段实现mimo-v2.6 的训练流程我拆成了三段来实现。第一段是预热大概占总步数的 10%学习率从 0 线性升到峰值clip 阈值设得比较松让模型先探索。第二段是主训练占 70%学习率按 cosine 下降clip 阈值逐步收紧reward 平滑系数也逐步提高。第三段是精调占 20%学习率降到峰值的十分之一KL 系数提高让策略贴近参考模型。每段的切换不是按固定步数而是按 reward 曲线的斜率。具体来说当 reward 的滑动平均斜率连续下降超过一定阈值就触发下一段。这个阈值我一般设在 0.01 左右太高会导致切换太频繁太低又会让模型在平台期浪费太多步数。分段实现的好处是每一段都有明确的优化目标不会出现“一套超参跑到底”的僵化。我对比过不分段的版本分段版本的最终 reward 高出大概 10%而且训练后期的崩溃概率明显更低。4.3 关键参数的计算过程以 batch size 为例我是这样算的先确定单卡能承载的最大 token 数假设是 500K然后乘以卡数 8得到 4M token 的物理上限再根据经验RL 训练的有效 batch size 大概是物理上限的 50% 到 70%所以实际用 2M 到 2.8M。这个折扣是因为 RL 的样本相关性比监督学习高名义 batch 里有很多冗余信息。学习率的计算更依赖实验。我的做法是先跑一个小规模实验固定其他参数扫一组学习率找到 reward 上升最快且不崩的点。然后按模型规模的平方根做缩放比如模型从 7B 到 13B学习率大概降 30%。这个缩放规则不是理论推导而是从多次实验中总结出来的经验规律。KL 系数的调整逻辑是如果策略和参考模型的 KL 散度超过目标值就提高 KL 系数如果低于目标值就降低。目标值一般设在 0.01 到 0.05 之间具体取决于任务对策略偏离的容忍度。我通常让 KL 系数在 0.05 到 0.5 之间动态浮动。4.4 训练现场的监控与干预训练过程中我盯得最紧的三个指标是reward 的滑动平均、value loss、以及策略熵。reward 看趋势value loss 看稳定性策略熵看探索是否充足。如果策略熵降得太快说明模型过早收敛需要提高温度或者降低 KL 系数如果策略熵居高不下说明模型还在乱探索需要降低温度或者提高 KL 系数。干预的时机很关键。我一般设一个容忍窗口比如连续 50 个 step 指标异常才干预避免被短期波动误导。干预的手段包括调整学习率、调整 clip 阈值、调整 reward 平滑系数、甚至回滚到上一个 checkpoint。回滚是最后手段因为会浪费计算资源但有时候比硬跑下去划算。注意回滚之前一定要保存现场包括模型权重、优化器状态、当前 batch 的数据。否则回滚之后复现不了问题等于白回滚。5. 常见问题与排查技巧实录5.1 reward 曲线先涨后崩的排查路径这是 scaling 之后最常见的问题。reward 在前几千步涨得很好然后突然掉头向下甚至比初始值还低。排查路径我一般按这个顺序走先看 value loss如果 value loss 同时飙升说明 value 网络崩了策略更新被带偏再看策略熵如果熵骤降说明模型过早收敛到某个坏模式最后看 KL 散度如果 KL 爆表说明策略偏离参考模型太远。对应的解法value 崩了就提高 value 网络更新频率或者暂时冻结策略熵骤降就提高温度或降低 KL 系数KL 爆表就提高 KL 系数或者回滚。我遇到的大部分先涨后崩根因都是 value 网络跟不上策略变化所以 value 相关的调整往往最有效。5.2 训练速度突然变慢的几种可能scaling 之后训练速度变慢不一定是硬件问题。我遇到过几次最后发现是数据管道成了瓶颈。rollout 生成的样本要经过 reward 计算、过滤、打包才能进训练。如果 reward 计算是单线程的或者过滤逻辑太复杂数据管道就会堵住GPU 利用率掉到 50% 以下。排查方法是看数据管道的队列长度。如果队列经常空说明生产跟不上消费如果队列经常满说明消费跟不上生产。前者要优化 reward 计算和过滤后者要检查训练侧的 batch 组装逻辑。我一般会把 reward 计算改成多进程过滤逻辑尽量向量化这样能把数据管道的吞吐提高三到五倍。5.3 常见问题速查表现象可能原因排查方法解决手段reward 先涨后崩value 网络滞后看 value loss 是否飙升提高 value 更新频率或冻结策略reward 长期不涨探索不足看策略熵是否过低提高温度或降低 KL 系数训练速度骤降数据管道瓶颈看队列长度和 GPU 利用率优化 reward 计算和过滤逻辑KL 散度爆表策略偏离太远看 KL 曲线提高 KL 系数或回滚显存溢出batch 太大或梯度累积过多看显存占用曲线减小 batch 或减少梯度累积步数梯度范数异常极端样本或 reward 长尾看梯度范数分布加强 reward clip 或梯度裁剪5.4 几个我踩过的坑第一个坑是 reward 平滑系数设得太高。我当时想的是平滑一点更稳结果 reward 信号滞后严重模型对真实变化不敏感训练后期 reward 上不去。后来把系数从 0.99 降到 0.92问题就解决了。这个教训是平滑是为了去噪不是为了抹掉信号。第二个坑是 prompt 分层采样做过头。我一开始把各类任务的比例卡得很死结果模型在简单任务上的表现下降明显。后来改成软分层允许比例在一定范围内浮动简单任务和复杂任务的 reward 都保住了。这个教训是均衡不等于平均要留出动态调整的空间。第三个坑是回滚之后没有清理优化器状态。有一次 value loss 崩了我回滚到上一个 checkpoint但优化器状态还是崩之前的那份结果跑了没几步又崩了。后来每次回滚都重新初始化优化器状态问题就没再出现。这个教训是回滚要回滚全套不能只回滚模型权重。6. 关于 scaling 边界的一些个人观察mimo-v2.6 的 RL scaling 实验做下来我最大的体会是scaling 不是无限的。当模型规模、数据量、训练步数都放大到一定程度收益会明显递减。我观察到的一个粗略边界是当 rollout 数据量超过模型参数量的某个倍数之后reward 的提升就变得非常缓慢。这个倍数在不同任务上不一样但大概在 100 到 300 之间。另一个观察是scaling 之后超参的敏感度会上升。小规模时随便设的学习率大规模时可能直接导致崩溃。所以每次放大规模都要重新扫一遍关键超参不能直接沿用旧配置。这个过程很费时间但省不得。最后分享一个小技巧如果你在 scaling 过程中发现 reward 曲线有周期性抖动先别急着调超参去看看数据管道是不是有周期性的延迟或重复。我遇到过好几次最后发现是数据加载器的 shuffle 逻辑有问题导致某些样本被重复采样。修好之后抖动自然就消失了。