CleanRL 教程单文件 PPO 强化学习实现5 分钟快速上手跑通第一个实验【免费下载链接】cleanrlHigh-quality single file implementation of Deep Reinforcement Learning algorithms with research-friendly features (PPO, DQN, C51, DDPG, TD3, SAC, PPG)项目地址: https://gitcode.com/GitHub_Trending/cl/cleanrlCleanRL 是一个深度强化学习库最大的特点是一个算法变体一个文件PPO、DQN、DDPG、TD3、SAC、C51 等经典算法的完整实现各自独立装在约 300 行的 .py 脚本里不依赖任何框架源码。想逐行搞懂算法内部逻辑、或者想给算法原型加个别的库不支持的改动它比模块化框架更合适——代价是变体之间代码重复好处是一次读完、不用跨模块跳转。装好环境三条命令完成 CleanRL 依赖安装这一节的目标只有一个让机器能跑起 PPO 脚本。官方要求 Python 版本 3.8 且 3.11并建议用 uv一个比 pip 快很多的 Python 依赖管理工具来装依赖git clone https://gitcode.com/GitHub_Trending/cl/cleanrl cd cleanrl uv pip install . uv run python cleanrl/ppo.py --seed 1 --env-id CartPole-v0 --total-timesteps 50000三行分别在做克隆仓库安装核心依赖PyTorch、gymnasium、TensorBoard、WandB 等锁定在 pyproject.toml 里torch 固定为 2.4.1用 PPO 脚本在 CartPole经典的保持杆平衡环境上训练 5 万步固定随机种子 1 以便复现。不习惯 uv 也可以走 pip入口是pip install -r requirements/requirements.txt装完直接python cleanrl/ppo.py ...即可。目录导读日常只打开 cleanrl/ 下的单文件脚本仓库结构很扁平记住这几个会经常碰到的条目就够cleanrl/ # 核心每个算法变体一个独立训练脚本改参数、读逻辑都在这 cleanrl_utils/ # 绘图、复现实验、超参搜索等辅助工具 tests/ # 冒烟测试几秒验证环境是否装对 benchmark/ # 各算法的基准实验运行脚本 requirements/ # 按平台拆分的依赖清单atari / mujoco / jax 等 docs/ # 官方文档 每个算法的基准训练曲线 pyproject.toml # 项目配置与核心依赖uv 的安装入口日常你最常打开的就是 cleanrl/ 目录PPO 跑 Atari 是ppo_atari.pyDQN 跑 Atari 是dqn_atari.py换算法就是换脚本名。docs/ 里则放着各算法在不同游戏上的基准曲线跑正式实验前值得先瞄一眼量级。核心参数逐项拆解命令行说了算没有全局配置文件CleanRL 没有单独的配置文件——每个脚本里用 dataclass 存全部默认值命令行没传的参数就取默认。以 cleanrl/ppo.py 为例最常用的是这几个参数含义默认值 / 示例--seed随机种子固定后结果可复现1--env-id环境 ID即智能体在其中训练的场景CartPole-v1--total-timesteps总时间步智能体与环境交互的总次数直接决定训练时长500000--num-envs并行环境数同时开几个环境一起采数据4--learning-rate学习率每次更新策略的步幅2.5e-4--clip-coefPPO 的裁剪系数限制策略单步更新幅度0.2--num-minibatches每次更新拆成的迷你批次数量4--exp-name实验名TensorBoard 日志目录会用它默认取脚本文件名--track开启 WandB 实验追踪需先登录默认关闭需要深度定制时可以直接改脚本里 Args 类的默认值但不建议作为常规操作——你的改动会和上游代码混在一起复现时容易迷路。典型场景完整走一遍CartPole 训练 TensorBoard 看曲线上一步的命令就是完整场景PPO 在 CartPole-v0 上训练 5 万步。想快速看效果把--total-timesteps改成 5000几秒钟就结束。训练结束后日志写在cleanrl/cleanrl/runs/下另开一个终端查看曲线cd cleanrl/cleanrl tensorboard --logdir runs打开 TensorBoard 后能看到episode_reward_avg随训练上升CartPole 的满分是 500训练 5 万步左右策略基本收敛loss/approx_kl、loss/entropy这些指标也一并记录。这就是验证训练是否真的在学的最直接方式上面是 Acrobot-v1 上的 PPO 基准曲线形状类似回报随时间步单调爬升、后期趋稳。上手前先看这 4 个坑Python 版本卡得死3.8,3.11用最新 Python 跑大概率在装依赖时就翻车先python --version确认。可选环境不包在核心依赖里Atari、MuJoCo、Procgen 要额外装如uv pip install .[atari]对应清单在 requirements/ 下否则脚本启动即报导入错误。WandB 有登录态加--track前先执行wandb login没登录的脚本会卡在认证步骤。别随手升级 torch核心依赖里 torch 锁了 2.4.1手动pip install torch装最新版会破坏复现一致性。跑通之后的下一步先自检再复现基准验证环境是否健康的成本最低的方式是跑 tests/ 里的冒烟测试例如python cleanrl/ppo.py --num-envs 1 --num-steps 64 --total-timesteps 256几秒出结果能跑通就说明依赖、版本都没问题。确认无误后去 benchmark/ 逛逛里面有各算法的完整基准运行脚本可以一键复现论文量级的实验docs/rl-algorithms/ 下每个算法页面都挂着对应脚本的基准数据跑之前对照一下能省很多试错时间。换个脚本、换个环境 ID 再按一次运行基本就是这个项目全部的上手内容了。【免费下载链接】cleanrlHigh-quality single file implementation of Deep Reinforcement Learning algorithms with research-friendly features (PPO, DQN, C51, DDPG, TD3, SAC, PPG)项目地址: https://gitcode.com/GitHub_Trending/cl/cleanrl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考