上篇《RL 让人形机器人学踢球13 轮实验、三次仪器级 Bug》讲到我们修掉了三个仪器级 Bug球盲训练、condim3 静默忽略滚动摩擦、yaw 公式实读横滚让 H1 从对球全盲走到每集 100% 触球。但当时留了一个尾巴机器人会碰球了却不会朝球门踢——方向命中率只有 7.5%。本篇记录这个尾巴的完整攻坚18 轮实验v15→v33b把方向从 7.5% 打到 88.3%连续拿下课程表 C6 接球90%、C7 劫球75.4%、C8 射门36.7%三级达标以及在 C4 上撞出的一个教科书级设计缺口——导航 ≠ 朝向。0. 课程记分板本文写完时的状态级能力状态关键数字240 集精评口径C1 行走✓m110dr 底座48 扰动 0 跌倒C3 动态点✓v19b误差 0.85m93.3% 集内 1.2mC5 带球✓v26带球段占比 0.55dir 88.3%射门 23 球C6 接球✓v29stop 90%停球中位 0.36mC7 劫球✓v30b拦截 75.4%拦截中位 0.39mC8 射门✓v3236.7%88/240闸是 13.3%C4 转向✗v33/v33b对准率 17.4% —— 本文第 6 节所有评估都是 240 集批量精评约 2 分钟一轮所有判据预注册所有 FAIL 如实入档。1. 方向攻坚战五个杠杆的完整证伪链上篇结束时的事实机器人 100% 走到球边、49% 的集碰球但被推的球方向接近随机。我们连打了五个杠杆全部证伪——而每一次证伪都排除了一类假设最后剩下的那个解释才是真相。杠杆一目标侧绕后几何直觉失败足球教练都教过“踢球前先站到球的后面。” 我们让教练层在远球时追球→门线延长 0.7m的绕后点。方向命中率 0.8%基线 2.5%——没动。杠杆二线坐标切换几何精化失败发现切换时机用到球距离会切角离门线 0.5m 就斜推改成严格的线坐标切换在球后方且侧偏 0.5m 才切入推球。探针验证几何完全正确。方向 0.4%——还是没动。几何两次全败说明问题不在几何。杠杆三算一笔账抓到推-追老虎机把奖励经济学摊开算接近势能项 40×Δd把球推开 2.5m → 球滚走 → 追回 →这一来一回白拿 100朝门推 2m 的方向差分prog 项 10追球比朝门推球赚 10 倍。势能奖励接近就给分的标准性质只对静态参考物成立telescoping球会动它就变成了补贴推了再追的老虎机。撤掉接近项v17方向立刻从 0.4% 回到 2.5% 基线。这是上篇驻营露营的姊妹课** camping 是给接近发钱的病churn 是给接近发钱的病在可动物体上的变体。同一个奖励语义两种病。**杠杆四接触纪律diag 诊断驱动方向开始动写了个接触瞬间分类器把每次触球按是否在门线上对齐分成两类跑了 8 集 39 次接触编排推对齐后推入: 62%推向门 cos 0.6888% 高质量 路过碰撞斜着蹭到: 38%推向门 cos −0.39主动抵消净方向得 ≈ 0.62×0.68 0.38×(−0.39) ≈ 0.27——38% 的路过碰撞把 62% 的好推给抵消了。修复很朴素近球0.9m且未对齐时前进速度降到爬行档0.05 m/s不碰就不碰。方向命中率 16.2%——首次越过 15% 的闸。杠杆五爬行幅度单调权衡轴的发现爬行 0.2 m/s方向 57.1%爬行 0.3 m/s方向80%。但跌倒率单调恶化35% → 92% → 98%。最终配平叠加超速惩罚、摔倒罚分等两个被证伪的旁支后落在 v26方向 88.3%、向门位移中位 5.5m、射门 23 球。方向战役的完整弧线7.5% → 16.2% → 57.1% → 80% → 88.3%。转折点不是某个奖励权重而是接触纪律这个行为语义——让机器人学会不碰不该碰的球。2. C6 接球拦截点教练一发入魂课程下一级是接球球以 1.5-2.5 m/s 从 3-4m 外射向机器人±1.2m 瞄准误差要求 75% 的来球被停在机-球 1m 内。新增两件套来球模式reset 时给球初速瞄准机器人 ±1.2m 随机误差吸收奖励按每步球速下降量计价STOPK × max(0, Δ球速 − 0.011 摩擦地板)只在接触瞬间给钱不乘 dt。v27 首战 62.9%停球中位 0.69mv28 把吸收奖励加倍只买 2.5pt——激励边际递减。然后是本日最优雅的一发拦截点教练。原教练追球的现在位置接球的正解是迎向球将要到达的位置ball_coachballbvel*0.6# 前置 0.6 秒的预测交点v29stop 90%停球中位 0.36m。65% → 90%一轮解决。几何正解 vs 参数微调差距就是 25 个百分点。3. C7 劫球同一套机件的迁移劫球 来球改为横穿瞄准偏移 ±3m球从身侧掠过8 次采样 5 次不碰身——机器人必须主动移动去拦截。拦截点教练机件原样复用只把前置时间从 0.6 提到 0.8横穿球需要更早转向。v30 首战 72.9%差 2.1ptv30b75.4% 达标拦截中位 0.39m。教训好的任务分解会让技能免费迁移。C6 的迎向预测交点就是 C7 的沿路径拦截——课程设计时值得为迁移而设计。4. C8 射门专训分布陷阱与 50/50 混合解法v26 时代射门已经有 23/2409.6%——带球的副产品。C8 的闸是 13.3%。看起来只差一步我们做了一次射门专训把球门拉近到 4-7m、球放在机器人-门线上bg 1.6-5.2m 的直射练习位。v31 结果射门 30 个30%但标准分布上 approach 从 62% 崩到 14.6%——只练过球在门口的场景长距离追球序列废了。这是课程学习文献里最经典的专训灾难在我们手上的复现。解法是教科书级的50/50 混合分布一半集射门练习位一半集标准分布。v32标准分布评估: shoot 88/240 36.7%闸的 2.3 倍 dir 87.9% / 触球 100% / 向门位移中位 6.85m 全部保持教训课程分布要么渐进混合要么别用。纯专训分布是给通用技能挖坑。5. C4 未竟一次蟹行发现C4跑中转向换向两次 FAIL对准率 18% → 17.4%但诊断挖出了一个设计层面的金矿。先量物理换向航向跳变中位 84°而 H1 实际转向率只有~0.12 rad/s3 秒转 21°——对 84° 的跳变3 秒内朝向新目标物理上不可行。把换向角限制到 ±45°锥形重采样后45° 跳变的对准率实测 86%——物理不再是瓶颈判据还是过不了。再挖一层真正的缺口是导航奖励只付距离进度策略学会了侧移蟹行到位——它把球追到了、任务完成了但全程没有一秒是脸朝目标的。朝向新目标这个判据语义在奖励函数里没有任何承载。C3 能过是因为判据只看距离C4 的判据看朝向蟹行立刻现形。这不是 bug是任务语义与奖励的对齐缺口。三个候选修法已预注册①cur 模式加朝向对准奖励项②C4 判据改为到达语义朝向另列观察指标③对 DR 底座扩 ω 包线重训0.12 rad/s 的转向率本身就是底座训练分布决定的历史测量还受过上篇那个 yaw 公式 Bug 的污染。6. 更新版教训清单在上一版六条之上奖励语义要覆盖判据语义。判据说朝向目标奖励里就必须有朝向项——否则策略会用最便宜的等效行为蟹行绕过你的判据。所有看起来该会的行为都要问一句哪一项奖励在为它付钱势能奖励只对静态参考物成立。参考物会动球、其他智能体接近就给分立刻变成追逐循环的补贴。课程分布要混合不要纯专训。专训分布带来的技能增益30%远小于它摧毁的通用技能-74%50/50 混合一轮两全。几何正解 参数微调。接球从 65% 到 90% 靠的是追预测交点这个几何修正而不是任何奖励权重的再平衡。先问任务的正解几何是什么。行为分类器是最好的诊断仪。每次接触分成对齐/不对齐两类这一个统计把方向问题从玄学变成了 38% 碰撞抵消的算术。单调权衡轴要显式承认。爬行幅度 vs 方向 vs 跌倒是一条单调轴0.05/0.2/0.3 三档全部实测承认它之后才能在轴上找工作点而不是假装存在免费午餐。7. 已知限制与下一步跌倒率 91-98%已定谳为接触瞬间物理踢击冲击对髋踝的扰动奖励与教练侧均无法解。三条候选路H1 起身技能跌倒可恢复、足姿预置接触冲击缓冲、换更抗冲击的任务语义。C2 定点 / C4 转向前者需要把位置指令接口移植到物理球环境后重测后者待第 5 节的语义决策。大脑接管S1教练位[vx, vy, ω]接口已稳定支撑六级课程按项目宪法下一步是把教练位交给 138,639 个神经元的果蝇全脑——足球线现在的六级成绩单就是大脑接管时的基线。上篇《RL 让人形机器人学踢球13 轮实验、三次仪器级 Bug触球率从 0 到 100%》。实验环境mujoco_playground H1JoystickBall Brax PPO。22 变体、全部负结果与预注册判据随仓库入档。