1. 这篇文章真正要解决的问题为什么我们还需要“模型”如果你已经学过 DQN、PPO、SAC 这些无模型Model-Free强化学习算法再来看“基于模型的强化学习”Model-Based Reinforcement LearningMBRL很容易产生一个疑惑无模型方法已经能打游戏、控制机器人、调度系统为什么还要绕一圈去学“环境模型”这正是这一讲要回答的核心问题。无模型算法的代价是样本效率低。DQN 玩 Atari 需要数百万帧PPO 调一轮机械臂策略可能要在真实环境里跑几十万步。真实场景不像游戏模拟器——机器人摔一次要维修推荐系统推错一次会影响用户体验工业控制试错成本更高。如果一套算法只能在模拟器里用那它的落地价值就大打折扣。基于模型的强化学习的思路恰好切在这个痛点上先让智能体学会“环境的迁移规律”再用学到的模型代替真实环境做规划、生成经验、评估策略从而用尽量少的真实交互获得尽量好的策略。它的本质不是“绕过”环境而是“预测”环境。伯克利 2026 春季深度强化学习课程CS 285 系列第十六讲专门讨论这一类算法。这一讲的关键结论可以提前给出基于模型的方法能不能工作取决于你如何控制“模型误差”的累积而深度强化学习中真正决定 MBRL 成败的往往不是规划算法而是模型学习的表示方式。读完这篇文章你会理解三件事基于模型的强化学习算法有哪些核心组成模块它们各自解决什么问题从理论学习到代码落地MBRL 算法要怎么设计、怎么训练、怎么验证实际项目中使用 MBRL 时最容易翻车的地方在哪里如何避开。在展开之前先梳理一个最基础、但也最容易被混淆的概念到底什么叫“模型”。2. 基础概念与核心原理从“经验”到“预测”的转变2.1 强化学习里的“模型”是什么强化学习中的“环境模型”不是指深度学习网络本身而是指对环境动态函数的拟合。环境动态可以分为两部分状态转移概率 (P(s | s, a))在状态 (s) 执行动作 (a) 后环境会转移到哪个新状态 (s)奖励函数 (R(s, a, s))这次转移会带来多少即时奖励。如果智能体能拿到这两个函数理论上就可以在“想象”中推演未来。比如已知当前状态 (s_t)候选动作 (a_t)用模型预测 (s_{t1}) 和奖励 (r_t)然后再预测 (s_{t2})一步步展开。这就是“基于模型”的意思——决策依据不是大量真实交互而是对未来的预测。需要区分的是有些资料把“模型”狭义理解成“策略模型”或“价值模型”。在 MBRL 语境下“模型”默认指环境动态模型。策略网络和价值网络是在这个模型之上做规划或学习的工具不是模型本身。2.2 无模型与基于模型的本质差异无模型方法的核心是绕过显式模型直接从交互数据中学习策略或价值函数。PPO 用当前策略采样一批数据计算优势函数更新策略DQN 从经验回放池中采样转移元组更新 Q 网络。它们不关心环境内部怎么运作只关心“在这个状态下做这个动作长期回报大概是多少”。基于模型的方法多了一个中间层先学习一个 (f_{\theta}(s_t, a_t) \rightarrow (s_{t1}, r_t))再用这个函数去模拟交互。在真实环境成本高、交互次数受限的场景下这个中间层是巨大的优势。可以用一个表格对比两者在关键维度上的差异对比维度无模型强化学习基于模型的强化学习样本效率低通常需要大量交互高可以利用模型生成虚拟数据算法复杂度相对简单端到端优化更高需要同时处理模型学习与策略优化对真实环境依赖训练全程都在真实环境采样大部分推演在预测环境中完成主要风险样本效率低探索成本高模型误差累积导致策略偏移典型算法DQN、PPO、SAC、TD3PILCO、MB-MPO、Dreamer、MuZero适用场景模拟器充足、交互成本低真实系统、硬件受限、交互昂贵这个表格值得细看。很多人看到“模型误差累积”这几个字没有感觉但在实际工程中这个误差累积是致命的。2.3 模型误差累积为什么是 MBRL 的核心挑战假设真实环境的状态转移是 (s_{t1} g(s_t, a_t))而你学到的模型是 (s_{t1} f_{\theta}(s_t, a_t))。哪怕每一步的预测误差只有 1%模型训练完成后你用它对未来 100 步进行推演误差会随着步数增加而指数放大。规划器基于失真的预测做决策得到的策略在真实环境中大概率表现很差。这就是“分布偏移”的雏形模型在训练数据分布上学得很好但规划过程会不断访问训练分布外的状态。一旦模型进入外推区域它的预测质量会迅速下降。理解这一点后MBRL 的全部算法设计都可以归结为一句判断如何让模型误差不毁掉策略。这个问题有三种解决思路对应三类主流方法短期展开减少误差累积步数用模型生成短片段数据混合真实数据训练策略代表是 Dyna 风格算法用更稳健的模型表示比如集成模型、隐空间模型代表是 PETS、Dreamer。接下来分别展开。3. 基于模型的强化学习的核心流程拆解3.1 一个完整的 MBRL 算法由哪些模块组成无论是经典算法还是深度变体MBRL 都遵循一个固定流程这也是课程第十六讲的基本框架1. 采集真实经验 2. 训练环境模型 3. 利用模型做规划或生成虚拟经验 4. 更新策略或价值函数 5. 回到第 1 步每一步都有对应的算法设计选择。采集真实经验阶段通常使用当前策略或随机策略在真实环境中采样。初始阶段模型还没训练好可以先用随机探索策略采集少量数据。训练环境模型阶段用真实交互数据拟合动态模型。输入是 ((s_t, a_t))输出是 ((s_{t1}, r_t))。这个模型可以是一个确定性神经网络也可以是概率分布模型比如输出高斯分布的均值和方差。利用模型阶段是整个流程的差异化所在。有两类做法模型预测控制MPC每步用模型做短时域规划选最优动作执行一步然后重新规划Dyna 风格用模型生成虚拟转移数据混入真实数据一起训练策略网络或价值网络。策略更新阶段则取决于选择哪条路线。MPC 路线不需要显式策略网络直接基于规划结果执行动作Dyna 路线需要训练策略网络与标准无模型方法类似。理解这个循环之后我们逐个模块深入。3.2 模型学习拟合环境的“玩法规则”模型学习本质上是一个监督学习问题。假设你有一批真实转移数据 ({(s_t, a_t, s_{t1}, r_t)})训练目标是最小化预测误差。最简单的实现是确定性模型# 文件路径models/deterministic_dynamics.py import torch import torch.nn as nn class DeterministicDynamics(nn.Module): 确定性环境动态模型输入状态和动作输出下一状态和奖励。 def __init__(self, state_dim, action_dim, hidden_dim256): super().__init__() self.net nn.Sequential( nn.Linear(state_dim action_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, state_dim 1) # 输出 [delta_s, r] ) def forward(self, state, action): x torch.cat([state, action], dim-1) out self.net(x) delta_state, reward out[..., :state.shape[-1]], out[..., -1] return state delta_state, reward模型输出的是状态增量 (\Delta s) 而不是直接输出 (s_{t1})这样做的原因是残差预测通常比直接预测更容易学习。在环境中状态变化幅度相对较小时这种参数化方式能显著降低拟合难度。概率模型比确定性模型更适合 MBRL因为环境本身可能具有随机性。更常用的做法是让模型输出高斯分布的参数# 文件路径models/probabilistic_dynamics.py import torch import torch.nn as nn import torch.distributions as td class ProbabilisticDynamics(nn.Module): 概率动态模型预测下一状态分布的均值和对数方差。 def __init__(self, state_dim, action_dim, hidden_dim256): super().__init__() self.shared nn.Sequential( nn.Linear(state_dim action_dim, hidden_dim), nn.SiLU(), nn.Linear(hidden_dim, hidden_dim), nn.SiLU() ) self.mean_head nn.Linear(hidden_dim, state_dim) self.logvar_head nn.Linear(hidden_dim, state_dim) def forward(self, state, action): x torch.cat([state, action], dim-1) h self.shared(x) mean self.mean_head(h) logvar self.logvar_head(h) # 用 logvar.clamp 限制方差范围防止训练初期预测过度保守 std torch.exp(0.5 * logvar.clamp(-5, 1)) return td.Independent(td.Normal(mean, std), reinterpreted_batch_dims1)训练目标是最小化负对数似然。还需要注意奖励预测通常不参与状态分布的建模直接单独用一个回归头输出即可。3.3 利用模型两条主路线第一条路线是模型预测控制MPC。核心思想是复用“规划”而非“学习”在每个时间步用当前模型展开若干条轨迹评估每条轨迹的累计回报选择最优动作执行。常见做法包括随机采样法Random Shooting和交叉熵方法CEM。第二条路线是 Dyna 风格。核心思想是把模型当成“免费数据生成器”从真实状态出发用模型想象若干步把虚拟转移元组加入经验回放池。PPO、SAC 等无模型算法可以完全复用只是多了模型生成的数据。这样可以在不改变策略优化器的情况下提高样本效率。从实验结果看MPC 路线在小规模控制问题中简单有效但需要在线规划的算力每一步都要做多轨迹推演Dyna 路线更适合与深度强化学习结合训练完成后不需要在线规划直接使用策略网络部署适合实时决策场景。3.4 避免模型误差毁掉策略的三个原则模型误差是 MBRL 的核心敌人围绕它有三个工程原则第一不要展开太长的轨迹。用模型展开 5 到 10 步与展开 50 步的效果差异极大。长轨迹意味着误差的指数累积策略看到的是越来越多不真实的状态。除非你的模型精度非常高否则限制展开长度比增加展开长度更安全。第二混合使用真实数据和虚拟数据。完全依赖模型生成的虚拟数据会导致策略在分布边缘“自嗨”逐渐偏离真实可达状态。Dyna 风格算法中虚拟数据和真实数据的比例是敏感超参数通常需要调低虚拟数据占比比如 1:1 到 1:10 之间。第三用集成模型量化不确定性。训练多个随机初始化的模型预测时取所有模型输出的均值或方差。如果集成模型之间分歧很大说明当前状态是模型不太熟悉的区域规划器应该降低对该状态预测的置信度。3.5 一个完整的小规模 MBRL 训练循环把上述模块拼起来就是一个最小可行的 MBRL 训练循环。第一步用随机策略在真实环境采集一批样本第二步用这批样本训练环境模型第三步用模型展开轨迹计算累积回报并选出当前最优动作第四步执行动作获得真实转移数据第五步循环。用伪代码表示# 文件路径mbrl/train_loop.py import numpy as np def train_mbrl(env, model, horizon20, iterations100, batch_size32): 最小 MBRL 训练循环采样 - 训练模型 - 模型预测控制 - 执行。 replay_buffer [] for iteration in range(iterations): # 阶段一在真实环境中采集经验 state, _ env.reset() done False while not done: action env.action_space.sample() # 初始用随机探索 next_state, reward, done, _, _ env.step(action) replay_buffer.append((state, action, next_state, reward)) state next_state # 阶段二训练环境模型 if len(replay_buffer) batch_size: train_dynamics_model(model, replay_buffer, batch_size) # 阶段三用模型预测控制选择动作并执行 state, _ env.reset() for step in range(env.spec.max_episode_steps): action select_action_mpc(model, state, horizon) next_state, reward, done, _, _ env.step(action) state next_state if done: break这里没有包含策略网络核心是“短期规划 滚动执行”适合任务奖励信号不稀疏、规划时域可以覆盖任务关键阶段的场景。4. 环境准备与实验设计跑通一个最小示例选择实验环境时优先推荐 OpenAI Gym 或 Gymnasium 中的连续控制任务。Pendulum、HalfCheetah、Reacher 这三类任务最适合入门 MBRL原因是它们的动力学可以用神经网络拟合奖励信号连续便于观察模型误差的影响。环境准备建议如下# 创建虚拟环境并安装依赖 conda create -n mbrl python3.10 -y conda activate mbrl pip install torch gymnasium numpy pandas matplotlib需要说明的是本文代码基于当前主流版本编写具体版本号以你的实际环境为准。核心思路不依赖某个精确版本只要 PyTorch 版本在 2.x 以上、Gymnasium 可用即可。从工程角度看建议在实验开始前明确一套评估协议固定随机种子记录以下指标训练过程中真实环境交互步数每次真实交互后的平均累计奖励模型在验证集上的预测误差可以用归一化均方误差规划展开 10 步、20 步、50 步时的回报估计曲线。这几个指标能帮你判断瓶颈到底在模型精度、规划时域还是真实采样量。5. 完整示例与代码实现用模型预测控制跑通 Pendulum这里给出一个完整的 MBRL 最小示例算法路线是“概率动态模型 随机采样 MPC”任务环境是 Pendulum-v1。5.1 主训练脚本# 文件路径examples/train_mpc_pendulum.py import gymnasium as gym import numpy as np import torch import torch.nn as nn import torch.optim as optim import torch.distributions as td from collections import deque # 1. 环境模型定义 class ProbabilisticDynamics(nn.Module): def __init__(self, state_dim, action_dim, hidden_dim200): super().__init__() self.state_dim state_dim self.fc1 nn.Linear(state_dim action_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, hidden_dim) self.mean_head nn.Linear(hidden_dim, state_dim) self.logvar_head nn.Linear(hidden_dim, state_dim) self.reward_head nn.Linear(hidden_dim, 1) def forward(self, state, action): x torch.cat([state, action], dim-1) h torch.relu(self.fc1(x)) h torch.relu(self.fc2(h)) mean self.mean_head(h) logvar self.logvar_head(h).clamp(-5, 1) std torch.exp(0.5 * logvar) reward self.reward_head(h).squeeze(-1) return td.Independent(td.Normal(mean, std), 1), reward # 2. 模型训练函数 def train_model(model, replay_buffer, batch_size128, epochs30, lr1e-3): optimizer optim.Adam(model.parameters(), lrlr) for epoch in range(epochs): indices np.random.choice(len(replay_buffer), batch_size, replaceTrue) states torch.stack([replay_buffer[i][0] for i in indices]) actions torch.stack([replay_buffer[i][1] for i in indices]) next_states torch.stack([replay_buffer[i][2] for i in indices]) rewards torch.stack([replay_buffer[i][3] for i in indices]) dist, pred_reward model(states, actions) loss_nll -dist.log_prob(next_states).mean() loss_reward nn.MSELoss()(pred_reward, rewards) loss loss_nll loss_reward optimizer.zero_grad() loss.backward() optimizer.step() # 3. MPC 规划器 torch.no_grad() def select_action_mpc(model, state, action_dim, horizon20, num_candidates100): 通过随机采样候选动作序列选择累计回报最高的动作。 state_batch state.unsqueeze(0).repeat(num_candidates, 1) actions_seq torch.randn(horizon, num_candidates, action_dim) total_rewards torch.zeros(num_candidates) current_state state_batch for t in range(horizon): dist, reward model(current_state, actions_seq[t]) next_state dist.sample() total_rewards reward current_state next_state best_idx total_rewards.argmax() return actions_seq[0, best_idx], total_rewards[best_idx] # 4. 主训练循环 def main(): env gym.make(Pendulum-v1) state_dim env.observation_space.shape[0] action_dim env.action_space.shape[0] model ProbabilisticDynamics(state_dim, action_dim) replay_buffer deque(maxlen1000) # 先用随机策略收集初始数据 state, _ env.reset() for _ in range(200): action env.action_space.sample() next_state, reward, done, _, _ env.step(action) replay_buffer.append(( torch.tensor(state, dtypetorch.float32), torch.tensor(action, dtypetorch.float32), torch.tensor(next_state, dtypetorch.float32), torch.tensor(reward, dtypetorch.float32), )) state next_state if done: state, _ env.reset() for iteration in range(100): train_model(model, list(replay_buffer)) state, _ env.reset() episode_returns [] for step in range(200): action, _ select_action_mpc( model, torch.tensor(state, dtypetorch.float32), action_dim, horizon20, num_candidates100 ) state_array state next_state, reward, done, _, _ env.step(action.numpy()) transition ( torch.tensor(state_array, dtypetorch.float32), action, torch.tensor(next_state, dtypetorch.float32), torch.tensor(reward, dtypetorch.float32), ) replay_buffer.append(transition) state next_state episode_returns.append(reward) if done: break avg_return np.mean(episode_returns) if episode_returns else 0.0 print(fIteration {iteration:3d} | Average Return: {avg_return:.2f} | Buffer Size: {len(replay_buffer)}) if __name__ __main__: main()5.2 代码关键逻辑解释模型输出的状态分布和奖励是分开优化的。状态分布用负对数似然作为损失奖励用均方误差。两部分共生共存但奖励损失不该主导模型训练否则状态转移精度会被牺牲。MPC 中我们采样 100 条长度为 20 的动作序列评估累计奖励只取第一帧动作执行。这个做法叫“随机采样法”它不需要梯度信息完全依赖模型前向传播在状态维度低、控制频率不高的任务上足够用。训练迭代中每次先训练模型再用模型控制真实环境。这里有个工程细节经常被忽略模型训练频率和真实环境采样频率的比例需要权衡。训练太频繁浪费时间训练太少模型跟不上真实环境的新分布。这里的实现是每次迭代全量训练一次实际项目中建议每隔 5 到 10 次迭代训练一次并监控验证误差。5.3 如何运行和验证在项目根目录下执行conda activate mbrl python examples/train_mpc_pendulum.py预期输出类似Iteration 0 | Average Return: -1.43 | Buffer Size: 1000 Iteration 10 | Average Return: -0.75 | Buffer Size: 1000 Iteration 30 | Average Return: -0.40 | Buffer Size: 1000 Iteration 60 | Average Return: -0.28 | Buffer Size: 1000 Iteration 90 | Average Return: -0.25 | Buffer Size: 1000判断标准是平均回报逐步提升并最终收敛到一个相对稳定的区间。Pendulum 任务的最优累计回报大约接近零如果你的平均回报稳定在负零点三以内说明模型已经学到了足够好的动力学。如果训练后回报不升反降首先要看模型在真实转移数据上的预测误差。可以打印验证集的负对数似然或者可视化模型对一小段真实轨迹的预测结果和真实轨迹的对比。6. 高级算法演进与对比从 PILCO 到 Dreamer、MuZero6.1 为什么需要“隐空间模型”直接在高维观察空间中学习模型比如图像像素级预测计算开销巨大而且像素级误差对规划没有直接意义。于是出现了一个关键设计不是直接预测原始观察而是在低维隐空间中学动态。代表算法就是 Dreamer。Dreamer 的学习流程是先训练一个表示模型把高维观察压缩成低维隐状态再在隐空间里学动态模型和奖励模型最后从隐状态出发用模型展开短轨迹训练策略网络。这种做法极大降低了模型学习的难度也让“想象”环节的计算量可控。6.2 从模型到规划器的常见组合下表梳理了几种经典 MBRL 算法的设计选择算法模型类型规划方式策略学习适用场景PILCO高斯过程解析期望回报无显式策略网络低维控制、样本极少PETS概率集成网络交叉熵规划 MPC无显式策略网络中维连续控制MB-MPO概率集成网络从模型生成轨迹策略梯度中维连续控制Dreamer隐空间动态模型隐轨迹展开Actor-Critic高维像素输入Dyna-Q / Dyna-Style表格/神经网络虚拟经验生成Q-Learning / Policy Gradient存在离线数据时做数据增强MuZero隐空间模型蒙特卡洛树搜索Value-based / Policy-based棋类、游戏、规划型任务从这个表格能看出一个趋势早期 MBRL 算法强调精确的模型表示高斯过程在小数据上有优势但扩展性差中期的 PETS、MB-MPO 使用神经网络集成模型兼顾不确定性和扩展性晚期的 Dreamer、MuZero 则把模型学习搬到隐空间把规划和学习融为一体。6.3 模型集成为什么能缓解误差PETS 与 MB-MPO 都使用集成模型。从代码层面看集成模型就是多个并行的神经网络每个网络用不同的数据子集或不同的随机初始化训练。预测时每个网络给出一个状态分布集成输出的方差用于评估这个预测的可信度。MB-MPO 的另一个关键点是“模型作为分布而不是点估计”。它采样多个模型参数每个模型生成一批虚拟轨迹策略在这些虚拟轨迹上做梯度更新后再回到真实环境验证。这个流程天然具备正则化效果相当于在模型不确定区域做保守的策略优化减少了模型误差带来的策略偏差。6.4 MuZero 的模型导向为什么不一样MuZero 的模型不直接预测环境的完整状态而是预测一个对决策有用的隐表示。模型结构由表示函数、动态函数、预测函数组成动态函数在隐空间里做状态转移预测函数输出策略和价值。规划过程用蒙特卡洛树搜索在隐空间中展开多个候选动作序列最后聚合树搜索结果输出策略。这意味着 MuZero 不要求模型做到“模拟整个环境”只要求模型能够支撑价值评估和决策。它的模型学习目标混合了策略、价值、奖励三类预测损失从设计上规避了对像素级动态的依赖。这个思想影响了很多后续算法也是深度学习与 MBRL 结合的重要方向。7. 常见问题与模型调试指南7.1 常见问题清单问题现象可能原因排查方式解决方案模型训练后验证损失不再下降网络容量不足或数据太少打印验证集损失曲线检查数据量增大隐藏层容量或采集更多真实数据规划回报很高但真实回报很低模型外推误差大规划器利用了模型漏洞统计模型在不同时域展开的误差变化缩短规划时域加入集成模型不确定性惩罚训练早期回报很差且不稳定初始随机探索数据覆盖不足检查虚拟缓冲区的状态分布 vs 规划采样状态分布增加随机探索步数或先用无模型方法预训练模型训练后期回报突然下降策略进入真实环境未覆盖的区域查看当前策略的状态分布与训练数据状态分布的重叠程度加入基于不确定性的保护机制或降低虚拟数据占比集成模型噪声过大集成模型之间差异太大检查各模型单独的训练损失增加集成模型训练数据量或调整 dropout模型预测轨迹与真实轨迹偏差明显模型容量不足或输出层参数化不当可视化预测轨迹与真实轨迹对比曲线改用增量预测预测 (\Delta s)或引入归一化处理训练时长太长每次迭代都训练模型查看时间消耗分布降低模型训练频率或模型训练早停7.2 一个真实的调试顺序如果今天你打算跑通一个 MBRL 实验推荐按下面的顺序排查问题。第一步先跑一段随机策略拿到真实数据。然后用这批数据训练模型打印验证集上的负对数似然。如果这个值很差不要急着调规划策略先解决模型精度问题。建立一个最简单的可视化脚本随机取三到五条真实轨迹让模型从同样初始状态展开叠加对比真实轨迹和预测轨迹肉眼就能判断模型是否学到了动态趋势。第二步模型验证误差可控后再单独评估规划器。把规划器选出的动作序列在真实环境中逐帧执行同时记录模型对每帧的预测与真实差异。如果第 1 步差异小、第 10 步差异大说明误差累积问题严重优先缩短规划时域。第三步最后才调数据和虚拟数据的比例。很多初学者一上来就猛调虚拟数据生成数量结果模型误差被放大了十倍策略反而更差。正确的顺序永远是“先验证模型再验证规划再调数据配比”。8. 最佳实践与工程建议真正把 MBRL 用起来MBRL 在学术界已经形成了完整的方法体系但工程落地时仍有很多细节值得注意。以下建议来自课程内容的一般性规律也符合强化学习工程化社区常见的最佳实践。8.1 数据管理与版本记录MBRL 的训练过程同时涉及真实数据和模型生成数据两者混用很容易造成数据污染。建议在工程中分两个缓冲区存储真实缓冲区只存放从真实环境采样的转移元组用于训练环境模型虚拟缓冲区存放模型展开生成的转移元组用于训练策略网络。两个缓冲区的数据版本、生成时间和模型版本都要有日志记录。否则当策略在真实环境中突然变差时你很难定位是模型的锅、数据的锅还是策略更新策略的锅。8.2 不确定性的工程化处理模型集成是处理不确定性最直接的方案。你的环境模型可以同时训练五个网络预测时输出它们的均值与标准差。当标准差超过某个阈值时让规划器偏向保守策略比如减少候选动作的探索幅度、降低虚拟数据的置信度权重。在不牺牲太多性能的前提下一个更轻量的做法是在模型输出的方差上做人为限制。把 (\log \sigma) 限制在 ([-5, 1]) 范围能避免训练初期模型过于自信也能避免预测过度发散。8.3 探索与利用的平衡MBRL 的探索问题格外重要因为模型是基于历史数据学习的如果探索不足模型对未观测区域一无所知规划器也不会主动进入这些区域形成“认知锁死”。处理原则是在真实环境采集中保留足够的随机动作比例比如前 20% 的训练轮次中用随机策略或带噪音的规划策略采集数据在模型内展开时适当添加探索噪声类似于 SAC 的熵正则避免模型生成的虚拟轨迹过度集中在同一个区域。8.4 何时不要用 MBRLMBRL 并不适合所有场景。如果你的任务有完美的模拟器交互成本几乎为零那么无模型方法往往更简单、更稳定如果环境动态极其复杂尤其涉及高维图像和复杂物理交互模型学习的代价可能超过收益如果任务只需要部署一次不需要长期在线更新用离线数据集直接训练策略可能更划算。一句话判断标准真实交互成本高、任务状态维度可控、环境动态可以用函数拟合三者满足时 MBRL 才值得投入。8.5 从课程到项目的建议路线学习这门课程时不建议直接挑战 Dreamer 或 MuZero。建议按以下顺序递进第一步用本文的 MPC 代码跑通 Pendulum理解“模型训练 规划 真实执行”的完整循环第二步把随机采样 MPC 换成交叉熵方法CEM对比不同候选动作数量和规划时域对性能的影响第三步加入模型集成观察不确定性信息对规划质量的提升第四步换到 HalfCheetah 这类更高维任务尝试把规划替换成策略网络学习过渡到 MB-MPO 的思想第五步再回头看 Dreamer理解隐空间模型如何突破高维观察的障碍。每一步都要记录实验曲线尤其在“换规划器”和“换模型结构”时必须保持其他变量不变否则无法区分性能变化来自哪个模块。9. 总结与后续学习方向基于模型强化学习的核心思路是高效利用真实交互数据先学习环境动态再用模型推演未来从而减少昂贵交互。它的核心难点不在“模型本身的架构”而在“如何控制模型误差对策略的干扰”。从短期规划到 Dyna 风格数据增强再到集成模型和隐空间模型所有算法设计的逻辑都可以归到这一条主线。对开发者来说MBRL 是一条值得投入的技术路线尤其在机器人和真实控制系统这类交互成本极高的场景。从工程实操层面看你至少可以做到用概率动态模型拟合环境转移并在验证集上持续监控预测误差用随机采样 MPC 在低维控制任务上快速验证算法闭环用真实数据和虚拟数据分离的管理方式避免数据污染用集成模型和不确定性阈值提升策略在分布边缘的稳定性。如果你已经掌握了无模型方法的基本原理接下来最值得深入的三个方向是Dreamer 的隐空间模型训练细节、MuZero 中模型预测与策略价值预测的联合优化方式、以及 MBRL 中的离线模型学习与在线数据配比问题。从这门第十六讲出发理解这三块内容基本就能覆盖目前深度强化学习中“基于模型”这条路线的主要面貌。