简介面向人工智能与强化学习初学者的深度强化学习DRLMATLAB案例程序包围绕DQN、PPO、DDPG、TD3等常见算法系统演示从环境构建、奖励设计、策略训练到性能评估的完整闭环。资源共21个文件以PNG示意图、XML配置、MML数学公式及RELS关系文件为主PNG辅助可视化理解MML呈现算法数学表达压缩包仅1.18MB轻量紧凑适合快速获取入门范例并动手实践。已有754人学习下载学习热度持续增长。通过案例可掌握MATLAB中DRL实验的设置与运行技巧理解环境交互、神经网络拟合、策略更新等核心环节同时借助内部文件结构分析能厘清算法实现与工程组织的关键细节为课程设计、毕业设计或自学进阶提供可对照的模板。整体内容聚焦实际应用能帮助用户从理论走向代码为独立开展强化学习研究打下扎实基础。1. 别再从零写Q-Learning了rlCreateAgent是MATLAB里深度强化学习最快的一条路做深度强化学习的人尤其是从Python生态转MATLAB的最容易犯的一个错是打开MATLAB从Q-Learning查表开始手写写了两周发现还要自己实现经验回放、目标网络、探索策略整个项目全部卡在造轮子上。实际上MATLAB Reinforcement Learning Toolbox里的rlCreateAgent函数就是干这个的——它把“创建智能体”这件事收敛成一行调用你只需要把网络结构、观测规格、动作规格、训练选项四样东西喂给它它就返回一个可以直接交给train函数开训的完整智能体对象。这个方案适合两类人一类是想快速验证深度强化学习算法效果的工程师另一类是手里有MATLAB控制模型、想把强化学习嵌进现有仿真流程的研究者。本文我会从rlCreateAgent的输入输出讲起逐步拆到算法选型、完整可跑案例、高频报错排查最后落到离线训练这个进阶方向。2. 先认识rlCreateAgent创建出来的智能体它不只是策略网络而是决策器加存储器加优化器的集合很多人第一次接触rlCreateAgent以为它只是把神经网络包了一层。实际不是。用rlCreateAgent创建出来的agent对象内部至少装了四样东西一个表示器representation负责描述策略或价值函数一套观测与动作规格observationInfo、actionInfo负责告诉智能体环境的状态空间和动作空间长什么样一个经验缓冲区experience buffer负责存放训练过程中产生的状态、动作、奖励、下一状态样本一组优化器状态和超参数选项负责控制梯度怎么走。理解这一层后面调参才不会瞎试。2.1 rlCreateAgent的三件套输入表示、规格、选项rlCreateAgent的基本签名是这样的agent rlCreateAgent(representation, observationInfo, actionInfo, agentOptions)。四个参数里最关键的不是representation反而是两个Spec。我见过太多人网络写对了obsInfo的维度写错结果agent创建不报错、train一跑就崩。obsInfo rlNumericSpec([4 1]); % 4维连续观测写成[4 1]表示列向量 obsInfo.Name cartPoleStates; actInfo rlFiniteSetSpec([-1 1]); % 离散动作两个可选值 actInfo.Name cartPoleAction;obsInfo的类型决定你用什么输入层。rlNumericSpec对应featureInputLayerrlImageSpec对应imageInputLayer。actInfo则分两种rlFiniteSetSpec对应离散动作空间输出层节点数等于动作个数rlContinuousSpec对应连续动作空间输出层节点数等于动作维度。关于representationMATLAB里既可以直接传Layer数组也可以先构造rlQValueFunction、rlActorCritic等对象再传给rlCreateAgent。直接传Layer数组时rlCreateAgent会根据agentOptions里的算法类型自己去包一层表示器这是最快路径但如果你需要精细控制网络结构比如Dueling DQN要共享底层、分头输出就应该先构造rlQValueFunction再传入。我一般先用Layer数组跑通流程再改表示器细化。2.2 创建后的agent对象里到底装了什么创建完成后在命令行直接输入agent回车MATLAB会打印这个智能体的完整结构。你会看到它下面挂着Options、ExperienceBuffer、AgentNetwork这几个子对象。这里有几个值得手动确认的地方。dqnAgent.AgentOptions.EpsilonGreedyExploration.Epsilon dqnAgent.ExperienceBuffer.CurrentLength dqnAgent.AgentNetwork.Learnables第一行查当前探索率第二行看经验缓冲区已经装了多少条样本第三行看网络的可学习参数。排查训练问题时这三个属性是最先要看的探索率卡在1.0说明衰减没生效缓冲区一直为0说明样本没有进入回放池Learnables里有NaN说明梯度已经爆炸。需要注意train函数会在训练过程中动态修改agent内部状态所以在训练之前手动getAgentOptions拿到的是初始值训练结束后再查才是最终值。如果你想保存某个中间状态的智能体不要直接save整个agent变量建议先pause训练再保存否则恢复后训练进度可能对不上。2.3 从.mat恢复与继续训练rlCreateAgent的另一常用入口训练好的智能体最常见的保存方式是用save命令下次要用时用load加载。但如果你手里只有别人导出的网络结构和选项文件rlCreateAgent也能充当“装配线”把散件重新拼成智能体。% 假设你从.mat里load出了net、opt两个变量 % 只要obsInfo、actInfo还对应原环境就能重建智能体 trainedAgent rlCreateAgent(net, obsInfo, actInfo, opt);这种做法在团队协作里很实用。我在实际项目里经常收到同事发来的“半成品”网络结构定义好了、options调过一轮但没保存agent对象。用rlCreateAgent帮他们把网络和选项重新组装起来节省的是重跑一遍训练的时间成本。另外continue训练也很简单train函数支持传入已经创建好的agent它会接着经验缓冲区和网络参数继续训不需要从头开始。注意恢复训练前要把trainOptions里的MaxEpisodes改成剩余轮数否则它按最大轮数跑了。3. 五类强化学习算法用rlCreateAgent一行创建DQN、DDPG、TD3、PPO、SAC的选型与参数rlCreateAgent之所以强大是因为它的options参数决定了算法类型。同一个函数你传rlDQNAgentOptions就是DQN传rlPPOAgentOptions就是PPO。但选项怎么选取决于你的环境是离散动作还是连续动作、样本获取成本高不高、训练稳定性要求多高。这一节按算法族拆开讲重点是帮你建立“什么场景选什么算法、相应参数怎么设”的直觉。3.1 离散动作的默认选项用CreateAgent落地dqn算法matlab离散动作空间比如倒立摆左右两个力、网格地图上下左右四个方向DQN是默认首选。它是所有深度强化学习算法里最稳的入口经验回放和目标网络这两个设计天然适合在MATLAB里调试。创建DQN智能体时动作规格必须是rlFiniteSetSpec网络输出层节点数等于动作数输出含义是每个动作的Q值。net [ featureInputLayer(4, Normalization, none, Name, obs) fullyConnectedLayer(24, Name, fc1) reluLayer(Name, relu1) fullyConnectedLayer(24, Name, fc2) reluLayer(Name, relu2) fullyConnectedLayer(2, Name, actionValue) % 2个动作输出2个Q值 ]; opt rlDQNAgentOptions( ... MiniBatchSize, 64, ... TargetSmoothFactor, 1e-3, ... ExperienceBufferLength, 1e5, ... EpsilonGreedyExploration, rlEpsilonGreedyOptionExploration(0.95, 0.01, 5000)); dqnAgent rlCreateAgent(net, obsInfo, actInfo, opt);EpsilonGreedyExploration三个参数依次是初始探索率、最小探索率、衰减步数。衰减步数设5000的意思是训练了5000步后探索率从0.95线性降到0.01。这个参数几乎决定DQN能不能收敛。设太小智能体还没学明白就进入纯利用阶段设太大训练后期一直在瞎试。我建议初始值0.9到0.95衰减步数取预计训练总步数的30%到50%。3.2 连续动作与控制任务DDPG、TD3、SAC绕开CreateAgent的取舍连续动作场景rlCreateAgent也能用但说实话它在这里的优势不像DQN那么明显。DDPG需要同时维护Actor和Critic两个网络TD3还要双Critic加延迟更新SAC要熵正则和三个网络这些结构直接用rlCreateAgent传Layer数组拼出来的代码可读性很差。我一般会建议连续控制任务直接调rlDDPGAgent、rlTD3Agent、rlSACAgent这三个专用构造函数它们接受actor和critic对象语义更清楚。% 连续动作时actInfo用rlContinuousSpec3维连续动作示例 actInfo rlContinuousSpec([3 1]); actInfo.BoundLimits [-1 1; -1 1; -1 1];这里有一个从rlCreateAgent迁到rlDDPGAgent时容易踩的坑rlContinuousSpec必须设置BoundLimits否则采样动作会无界。而且BoundLimits的行数必须等于动作维度。我见过有人把Bounds写成[3 1]矩阵导致训练时动作采样直接报错因为输出层节点数和BoundLimits行数不一致。3.3 PPO的代理与批处理CreateAgent里怎么传PPO属于策略梯度族它的特点是不用经验回放缓冲区而是按episode收集一轮数据后做多轮更新。在MATLAB里rlCreateAgent配合rlPPOAgentOptions使用时需要关注的是MiniBatchSize和NumEpoch两个参数配合。opt rlPPOAgentOptions( ... MiniBatchSize, 128, ... NumEpoch, 3, ... EntropyLossWeight, 0.01);MiniBatchSize决定每次从刚收集的episode数据里抽多少条样本做更新NumEpoch决定同一批数据被反复用几轮。两个参数配不好的典型现象是训练曲线一开始涨得很快然后突然跳水。解法是把EntropyLossWeight调大一点让策略不要过早收敛到确定性行为。这个参数在PPO里比学习率还敏感。3.4 五种算法选型表一看就懂的落地决策参考算法动作空间样本效率训练稳定性收敛速度rlCreateAgent适用度DQN离散中好中最推荐传Layer数组即可DDPG连续较高较差快可以但建议用rlDDPGAgentTD3连续较高较好较快可以结构复杂不推荐SAC连续高好中可以熵参数难调PPO自适应低好慢可以适合并行仿真实际项目里我的选型顺序是离散先DQN连续有仿真环境且允许慢慢试就SAC训练时间受限用TD3动作空间自适应或需要批量收集经验选PPO。选型错误比参数错误更致命因为算法和环境不匹配时调参往往是治标不治本。4. 用rlCreateAgent跑通CartPole从环境到训练曲线到一次验证的最小案例这一章给一套能完整复现的案例。选CartPole倒立摆有两个原因一是它在MATLAB里是预置环境不需要自己写状态转移函数二是它的动作空间只有两个离散选项正好落在rlCreateAgent最擅长的DQN场景。整个过程大概三十行代码适合作为你验证工具箱安装、理解训练流程的“冒烟测试”。4.1 加载预置环境并确认观测动作规格CartPole环境在Reinforcement Learning Toolbox里预置好了一句加载即可但要养成习惯拿到环境后先看它的ObservationInfo和ActionInfo。因为环境版本不同观测维度可能有差异比如有的版本返回4维向量有的带速度限幅。先打印再写网络能避免后面维度对不上。env rlPredefinedEnv(CartPole-Discrete); obsInfo getObservationInfo(env); actInfo getActionInfo(env); disp(obsInfo) disp(actInfo)obsInfo里Dimension字段决定网络输入层大小actInfo里Elements字段决定输出层节点数。这里要注意rlPredefinedEnv返回的actInfo可能是rlFiniteSetSpec里面元素是[-1 1]还是[0 1]取决于环境版本后面定义网络输出层时要和它对齐。4.2 用featureInputLayer搭Q网络并调用rlCreateAgent网络我选了两层24个节点的全连接这个规模对CartPole足够训练速度快也方便你在显卡上跑时对比CPU耗时。输入层节点数直接从obsInfo.Dimension取不写死数字这是避免维度错误的最好习惯。net [ featureInputLayer(obsInfo.Dimension(1), Normalization, none, Name, obs) fullyConnectedLayer(24, Name, fc1) reluLayer(Name, relu1) fullyConnectedLayer(24, Name, fc2) reluLayer(Name, relu2) fullyConnectedLayer(numel(actInfo.Elements), Name, out) ]; opt rlDQNAgentOptions( ... MiniBatchSize, 64, ... TargetSmoothFactor, 1e-3, ... ExperienceBufferLength, 20000, ... DiscountFactor, 0.99, ... EpsilonGreedyExploration, rlEpsilonGreedyOptionExploration(0.9, 0.01, 5000)); agent rlCreateAgent(net, obsInfo, actInfo, opt);MiniBatchSize设64是因为CartPole单步样本便宜64个样本算Q值更新足够稳定。ExperienceBufferLength设20000已经不小了CartPole每一步产生一条经验一个回合撑死几百步20000的容量能装几十个回合的数据。DiscountFactor设0.99意味着智能体基本只看未来几步内的回报预期。4.3 配置trainOptions并观察训练曲线训练选项是另一个容易翻车的地方。MaxEpisodes设300是指最多训练300个回合如果中途平均奖励达标MATLAB会自动提前停止。这里我把StopTrainingCriteria设为AverageReward、StopTrainingValue设为450意思是当最近若干回合的平均奖励超过450时就认为任务已学会。trainOpts rlTrainingOptions( ... MaxEpisodes, 300, ... MaxStepsPerEpisode, 500, ... StopTrainingCriteria, AverageReward, ... StopTrainingValue, 450, ... Verbose, true, ... Plots, training-progress); trainingStats train(agent, env, trainOpts);训练时盯着右上角的Episode Reward曲线。一个健康的训练过程是前20个回合奖励从几十缓慢爬升中间会有平台期然后突然加速涨到400以上。如果你看到曲线始终贴地或者涨到200后反复震荡问题大概率出在第5章讲的那些坑里。4.4 用sim做一次确定性验证训练结束后的验证不能只看训练曲线因为训练曲线带着探索噪声。sim函数默认用训练好的策略做确定性推理手里的动作选择是argmax结果这才是真正的“考试成绩”。simOpts rlSimulationOptions(MaxSteps, 500); experience sim(agent, env, simOpts); % 统计回合奖励与平衡步数 totalReward sum(experience.Reward); fprintf(验证回合总奖励%.1f\n, totalReward);totalReward如果接近500说明智能体能全程保持平衡如果只有一两百说明它学会了短时间稳定但无法长期维持。这时不用急着改网络先检查EpsilonGreedyExploration的衰减步数是不是太小——很多训练好的智能体在验证时表现差不是因为网络不对而是因为训练后段探索率降得太快策略还没巩固住。5. rlCreateAgent高频坑与排查五个真实翻车点深度强化学习调试最难受的一点是报错信息少失败模式多。rlCreateAgent这层相对还好因为创建阶段的错误是显式的难的是创建成功、训练失败。这章把我自己踩过和帮别人排查过的五类问题列出来按现象、原因、解决三段式写方便你对照排查。5.1 维度对不上CreateAgent直接红字报错现象调用rlCreateAgent时MATLAB报错提示“The number of input channels does not match the observation specification”。原因网络输入层的神经元数或featureInputLayer的输入维度和obsInfo.Dimension不一致。这通常是因为网络里写死了数字比如obsInfo的Dimension是[4 1]你却在featureInputLayer(3)写成了3。解决永远从obsInfo.Dimension取数或者把网络输入层改为featureInputLayer(prod(obsInfo.Dimension))兼容行向量和列向量两种情况。5.2 输出层节点数与动作数不一致训练能跑但永远不收敛现象训练曲线有波动但reward始终上不去看agent的Q值输出全是一堆接近的负数。原因输出层节点数小于或大于numel(actInfo.Elements)。当你少写一个节点时rlCreateAgent不会报错——它会把多出来的动作忽略掉或补零导致算出的Q值和实际动作空间不匹配。解决创建后用disp(agent.AgentNetwork)检查输出层尺寸再和actInfo.Elements数量核对。养成创建后立即检查的习惯能省一晚上。5.3 Reward量级太小误差梯度被淹没现象训练几百轮Episode Q0始终在一个位数上不动Q值函数学不进去。原因环境给的奖励是0和1这种小数值和网络输出的量级接近误差信号被初始化的随机梯度淹没了。强化学习对奖励量级比监督学习敏感得多。解决把reward放大到10到100的量级或者修改环境的RewardFcn在成功保持平衡时给出额外奖励。CartPole这类环境自带reward设计问题连续平衡任务应改为“每多坚持一步奖励累加一个较大常数”。5.4 探索参数衰减过快DQN在局部最优里出不来现象训练曲线前50轮涨得很快然后突然跌回去之后怎么调学习率都救不回来。原因Epsilon从0.95衰减到0.01只用了1000步智能体还没见过足够多的失败状态就变成了一个“胆小的策略”。解决把衰减步数拉长到训练总步数的三成以上。一个估算方法是预计每回合平均200步目标训练300个回合总步数6万衰减步数就该设在2万步。宁可让智能体多探索一点也不要让它过早固步自封。5.5 MiniBatchSize和Buffer长度搭配失衡现象训练时偶尔报错“MiniBatchSize cannot exceed the experience buffer capacity”或者训练能跑但样本利用率极低、收敛很慢。原因MiniBatchSize设了256Buffer容量只有1000每次采样都要等缓冲区攒够256条最新经验而这些经验大多来自同一个episode相关性太强训练必然不稳。解决Buffer长度和MiniBatchSize之间保持约100倍的关系即Buffer至少能装100个MiniBatch。同时把Buffer长度和MaxStepsPerEpisode对齐确保缓冲区里至少能放下多个完整回合的经验避免单个回合的轨迹主导训练。6. 用rlCreateAgent做离线训练的骨架从经验数据里二次学习最后说一个我认为值得投入的方向离线强化学习。简单说就是把别人或之前训练跑出来的经验数据state、action、reward、nextState构成的四元组收集起来不通过与真实环境的交互直接用这些数据训练新智能体。这在机械臂、工业控制这类“在线试错成本高”的场景里特别实用因为仿真器再快也没有直接复用经验数据来得便宜。MATLAB里做离线训练的基本流程是先把经验数据整理成训练集然后用rlCreateAgent创建智能体把选项里的ExperienceBufferLength设得足够大一次性灌入全部离线数据再用离线训练选项去更新网络。这里有个关键细节离线数据的质量直接决定最终策略的质量你需要先看数据里有没有覆盖到“失败后怎么恢复”的状态轨迹如果全是成功轨迹训练出来的智能体一遇到偏差状态就会手足无措。我自己的验证习惯是离线训练完成后不急着部署先跑一轮sim仿真把离线训练出来的策略表现和在线训练的基线做对比如果离线策略的回合奖励能到在线训练的80%以上才考虑放进正式环境。同时把经验数据的来源、采集策略、奖励换算方式都记录在模型注释里因为这类工程项目最大的坑不是算法不收敛而是三个月后没人说得清这批数据是怎么来的。另一个常被忽略的进阶技巧是骨架复用用rlCreateAgent创建新智能体时把旧智能体网络的前两层权重作为初始化值只把输出层重新随机化。做法是在创建agent后用setLearnableParameters直接覆盖对应层的参数。这能显著缩短训练时间特别是在任务相似但动作空间变化的情况下。回头看我做过的几个项目深度强化学习在MATLAB里能不能成事七成不在算法选得多高级而在你能不能像调试普通程序一样快速定位问题。把rlCreateAgent当成一个值得信任的装配入口把train、sim当成验证闭环把本文第5章的五个坑刻在脑子里你的试错成本会低很多。希望这些经验帮到你少走我走过的弯路。本文还有配套的精品资源点击获取