When2Think: Learning Difficulty-Aware Length Control for Efficient Hybrid Reasoning Models作者Jaejun Shim, HyunJin Kim, Young Jin Kim, JinYeong Bak核心发表机构Sungkyunkwan University、Microsoft论文链接arXiv:2609.19671v1发布于arXiv 预印本cs.AI|———| GSM-Plus | 79.4 / 590 | 85.7 / 1052 | 6.3 / 462 || OlympiadBench-Math | 58.8 / 8634 | 62.4 / 5909 | 3.6 / -2725 || AIME24 | 46.0 / 14195 | 56.0 / 10236 | 10.0 / -3959 || AIME25 | 32.0 / 12616 | 40.0 / 9549 | 8.0 / -3067 |AIME24 上 token 减少比例约为14195 − 10236 14195 ≈ 27.9 % \frac{14195-10236}{14195}\approx 27.9\%1419514195−10236​≈27.9%与摘要一致。AIME25 上 When2Think 达到 40.0% Pass3。值得注意的是GSM-Plus 上 When2Think 的 token 反而比 base 更多590→1052但准确率提升 6.3 点论文解释为在对抗扰动 GSM-Plus 上模型故意增加计算以换取准确率提升。相对压缩与路由基线When2Think 在 AIME24/AIME25 上明显更优例如 LC-R1 在 AIME24 准确率从 46.0 降至 36.0-10.0体现压缩导致难题欠分配AdaptThink-delta0.05 在 AIME24 使用较少 token5806但 Pass3 仅 44.7%Thinkless-RL 在 AIME 上 NoThink 分支准确率为 0.0说明刚性路由在难题上失败。论文进一步分析了 token 使用按推理模式与正确性的分布。下图使用 KDE 展示正确实例中NoThink 在低 token 处尖峰反映 System 1 效率Think 即使正确也消耗更多 token揭示过度思考。错误实例中Think 呈重尾分布达到上下文限制显示失败 System 2 推理的高成本。在实例级难度感知分配方面论文按 MATH-500 难度 Level 1–5 分层分析。下图分别展示准确率与 token 使用随难度的变化以及 Think ratio 的对比。When2Think 的 Think 轨迹比例随难度单调增加Level 1 约 0.2Level 5 超过 0.7。基线中ThinkLess 分配近乎恒定计算量DeepScaleR 过度思考简单实例AdaptThink 对困难实例分配不足。这验证了 When2Think 能够根据难度自适应分配计算。混合推理模式分析进一步显示When2Think 在 AIME24/AIME25 上NoThink Ratio 为 0.0即全部走 Think避免难题上直接作答失败而在简单基准 GSM-Plus 上约 40.3% 的轨迹选择 NoThink且 NoThink 准确率达 93.0说明简单题直接回答质量高。在 Minerva 与 OlympiadBench 上When2Think 也选择性使用 NoThink其 NoThink 分支准确率分别达 78.8 与 90.5显著高于 AdaptThink 和 Thinkless 的对应分支。4.3 消融实验 / Ablation Study论文通过消融分析 IDAC、BWS 与 IS 各自的作用。首先为验证 BWS 相对 GRPO-style 实例内归一化的优势论文使用 Monte Carlo 模拟比较三种奖励/优势形式raw Think reward、BWS advantage、GRPO-style advantage。下图展示了优势景观颜色表示参考准确率α \alphaα蓝色为困难α → 0 \alpha\to0α→0黄橙色为简单α → 1 \alpha\to1α→1圆形表示正确叉号表示错误。左侧 raw IDAC Think reward 带绝对长度敏感 bonus中间 BWS advantage 保留困难问题上长而成功轨迹的正优势右侧 GRPO-style advantage 因实例内归一化导致信号碎片化与水平条带。这表明 BWS 保留了跨实例难度结构而 GRPO 式归一化会消除跨实例奖励比较使困难实例上的长成功轨迹可能获得弱或不稳定信号。BWS 的训练动态在 DeepScaleR 上进一步验证。下图比较 When2Think红色with BWS与无 BWS 基线蓝色。无 BWS 时 raw reward 跨实例高方差导致 noisy gradient 和不稳定学习BWS 使用 batch-level statistics 降低梯度方差并将实例难度与策略质量解耦。在 AIME24 等难度变化剧烈的任务上BWS 下即使最难实例也持续改进。此外BWS 维持稳定 Think Ratio 和 Response Length避免退化到极少推理或过度冗长。AIME24 上 When2Think 约用基线一半训练步达到峰值性能性能差距随任务难度增加而扩大。IS 与 IDAC 的消融在下图中展示。比较三个变体Full When2ThinkIS IDAC BWS、无 ISIDAC BWS、无 IDACIS BWS。结论是IDAC 与 BWS 提供主要深度控制信号去掉 IS 的 IDACBWS 变体在多数基准上仍具有竞争力尤其 AIME24但 IS 使策略转向更高效的操作点。在 GSM8K 上完整模型与 IDACBWS 验证准确率相当但 token 使用显著更低1652 → 1052 1652\rightarrow10521652→1052Think Ratio 也更低。IS 主要促进简单实例上的有效 NoThink 使用。去掉 IDAC 后模型仍可学习切换 Think/NoThink但缺少“一旦选择 Think应当分配多少推理”的难度感知信号导致困难实例系统性欠分配验证准确率显著更差尤其在 AIME24 上。Hybrid bonus 的消融显示单独为两种模式设置 bonus 收益有限。变化 NoThink bonusη \etaη时较大η \etaη往往降低验证准确率说明过强 NoThink 激励会使策略偏向直接回答即使显式推理仍然有用对应 hard-instance under-allocation。使用统一的 correctness-gated efficiency coefficientδ \deltaδ同时用于两种模式并由 DADS 控制 bonus 对 Think 轨迹的强度训练更稳定避免 NoThink collapse 和 Think 过于冗长。因此论文不需要分开的 mode-specific bonus coefficients。Dual Math Verifier 的有效性也在 MATH-500 上分析。按主题划分Geometry 和 Precalculus 包含大量符号、结构化或文本型答案Baseline 因 string-based verification 的固有局限而明显下降无法识别语义等价但语法不同的解。Dual Math Verifier 通过 symbolic equivalence checking 解决该不匹配提升这些主题的鲁棒性。Intermediate Algebra 的增益较小论文归因于 verification strictness 与 recall 的权衡复杂多步推导中替代但等价的表达形式如 factored vs. expanded polynomials可能被严格符号解析误拒此外 IDAC 的效率约束可能限制此类变换所需推理步数。五、相关工作 / Related Work论文将已有高效推理方法分为两类。推理压缩方法旨在缩短推理轨迹同时保持正确性。数据级方法如 Skip-Thinking 使用 chunk-level distillationLC-R1 采用 validity-aware selection 移除冗余步骤RL 方法如 ThinkPrune 施加硬 token 预算LASER 与 DLER 使用基于奖励的长度惩罚。这些方法能减少简单实例过度思考但静态或全局调优的约束会导致困难实例思考不足产生 efficiency tax。混合推理方法选择性应用推理以减少计算。ARM、LHRM 在短推理与长推理轨迹之间切换AdaptThink、ThinkLess 使用学习控制器在简单实例上跳过推理。这些方法通常缺乏细粒度、实例级控制模式选择本身不足以决定推理深度。When2Think 与上述工作的核心区别在于它将推理深度视为连续、实例自适应的资源通过 IDAC 进行 difficulty-aware reward shaping同时控制“是否思考”与“思考多少”。与 AdaptThink 的关系方面When2Think 采用了 AdaptThink 的 importance sampling 策略与 PPO-style clipped objective但自身贡献聚焦于 instance-adaptive control of reasoning depth而非重新设计 hybrid reasoning 基础训练框架。论文还讨论了推理时扩展System 2 simulation与后训练推理learning to reason两条路线前者不修改参数依赖 CoT、ToT、Self-Consistency 等提示或搜索方法计算开销大且可能产生不必要长轨迹后者通过 SFT、RL 或蒸馏将推理能力内化到参数中但若缺乏显式难度感知长度控制RLVR 倾向于膨胀 token落入效率税。When2Think 位于后训练混合推理路线通过 IDAC、BWS 与 IS 的联合设计在不依赖 learned reward model 或在线参考模型查询的情况下实现稳定的 critic-free 优化。六、局限性与展望 / Limitations Future Work论文的局限性主要围绕验证依赖、难度估计与实验范围。首先When2Think 依赖verifiable rewards因此最直接适用于数学推理等具有确定性答案验证的领域。扩展到开放式任务或社会敏感领域需要额外的奖励建模或人工评估并需要领域特定验证、保守部署与 human-in-the-loop 监控等 safeguards。其次方法依赖离线参考统计进行难度估计当问题难度模糊或参考策略本身不可靠时α i \alpha_iαi​与τ i \tau_iτi​可能无法准确反映真实难度从而影响 IDAC 的分配效果。第三Dual Math Verifier 虽然提升了符号等价验证的鲁棒性但仍存在 verification strictness 与 recall 的权衡严格符号解析可能误拒等价但不同形式的答案而 IDAC 的效率约束也可能限制复杂变换所需的推理步数这在 Intermediate Algebra 上表现为增益较小。第四论文主实验集中在 1.5B 规模作者解释为小模型上低效计算最具诊断性IDAC 等自适应控制机制影响最大向更大模型泛化时由于大模型本身推理效率更强这些效应可能不显著。第五给定源码片段中主表与分层表存在空单元格完整消融数值、损失函数公式与训练数据构成的细节未完全展开因此无法核验所有逐项结果。此外定性案例仍显示 overthinking 与 underthinking 未被完全消除例如某些正确响应仍使用 31919 think tokens、492 steps某些错误案例仍表现为思考不足。未来工作可探索 subject-aware verification tolerance、adaptive length modulation、开放域奖励建模以及更大规模模型的难度感知控制。七、总结 / ConclusionWhen2Think 的核心论点是大型推理模型的低效并非因为推理过多而是因为推理深度在实例间错误分配。现有方法通过统一长度惩罚或刚性路由减少计算往往以困难问题欠分配为代价形成 efficiency tax。论文将高效推理重新形式化为实例自适应计算分配问题提出后训练框架 When2Think通过 IDAC 利用预计算的参考准确率与 token 预算进行 reward shaping结合 verifier-based rewards 与 BWS 实现稳定的 critic-free 优化并借助 IS 平衡 Think/NoThink 探索。模型不仅学习“何时推理”还学习“推理多少”在简单实例上倾向 System 1 直接回答在困难实例上保留或扩展 System 2 推理。在数学推理基准上When2Think 改善了准确率—效率权衡AIME24 上 Pass3 提升 10.0% 且 token 减少 27.9%AIME25 达到 40.0% Pass3优于 compression 与 routing-only 基线。总体而言论文主张高效推理本质上是分配问题而非压缩问题为混合推理模型的自适应计算分配提供了新的优化视角与可复现的后训练方案。原文摘要:Large Reasoning Models (LRMs) achieve strong performance on complex tasks but exhibit systematic inefficiency: they often overthink easy problems and underthink hard ones. Existing approaches based on uniform length penalties or rigid routing incur an efficiency tax, trading reduced computation on easy instances for accuracy loss on hard instances. We formulate efficient reasoning as an instance-adaptive computation allocation problem and propose When2Think, a post-training framework for hybrid reasoning that dynamically allocates computation based on problem difficulty. Our method introduces Instance-level Difficulty-Aware Control (IDAC), a reward-shaping mechanism that leverages pre-computed reference statistics (accuracy and token usage) to regulate reasoning depth. Combined with verifier-based rewards and batch-wise standardized advantages, IDAC enables stable critic-free optimization without learned reward models or online reference-model queries. When2Think encourages direct answering on easy instances while preserving extended reasoning on hard instances, thereby learning when to use System 1 (NoThink) versus System 2 (Think). Experiments on mathematical benchmarks demonstrate improved accuracy-efficiency trade-offs: on AIME24, Pass3 increases by 10.0% while token usage is reduced by 27.9% relative to the base model, and on AIME25, When2Think achieves 40.0% Pass3, outperforming compression and routing-only baselines.PDF链接:https://arxiv.org/pdf/2609.19671v1部分平台可能图片显示异常请以我的博客内容为准