人工智能深度学习NLP计算机视觉强化学习【免费下载链接】google-researchGoogle Research项目地址https://gitcode.com/gh_mirrors/go/google-research点击查看免费下载导读本文以 Google Research 仓库中 pse/jumping_task/README.md 为核心系统讲解 ICLR 2021 论文《Contrastive behavioral similarity embeddings for generalization in reinforcement learning》PSE在 Jumping TaskJumpy World环境上的完整实验复现流程。你将掌握如何准备 jumping-task 环境与依赖、如何运行官方冒烟测试脚本、如何用一条命令启动 PSE 训练以及如何精确复现论文中 wide / narrow / random 三种网格配置与彩色障碍物实验。文章同时深入 train.py、training_helpers.py 等源码剖析对比损失、表示对齐损失、伪度量定点迭代与 RandConv 等核心机制的底层实现帮助你理解行为相似性嵌入如何在强化学习泛化中发挥作用。一、实验背景PSE 与 Jumping TaskPSEPolicy Similarity Embedding的核心思想是在强化学习中与其只依赖奖励或状态特征不如直接度量行为相似性——两个状态如果在策略行为上等价就应当被映射到相近的表示空间。这一方法通过对比学习contrastive learning实现在训练中显式地把行为等价的状态拉近把行为不同的状态推开从而学习到对任务变化如障碍物位置、地面高度变化泛化能力更强的策略表示。Jumping Task仓库内称为 Jumpy World是论文专门用于研究泛化的最小化测试环境智能体需要在一个不断前进的世界中跨越障碍物每个环境实例由两个参数决定障碍物位置obstacle position与地面高度floor height通过改变这两个参数可以构造出大量相似但不同的任务天然适合验证训练任务 → 未见任务的泛化能力可选地障碍物可以被染成不同颜色红色障碍物行为与白色一致绿色障碍物行为不同用于研究视觉外观变化下的泛化。仓库中该实验的完整实现位于 pse/jumping_task 目录包含 8 个文件训练主程序 train.py、数据生成 data_helpers.py、训练辅助函数 training_helpers.py、模型定义 model_helpers.py、评估辅助函数 evaluation_helpers.py、Gym 封装 gym_helpers.py、依赖清单 requirements.txt 以及冒烟测试脚本 run.sh。二、环境准备2.1 安装 jumping-task 环境PSE 的训练代码依赖外部的jumping-taskGym 环境论文作者维护的独立环境包。仓库的 run.sh 中给出了标准的安装方式git clone https://github.com/Maluuba/jumping-task.git pip install -e jumping-task/gym-jumping-task安装后需要确保环境中存在gym-jumping-task与gym-jumping-colors-task两个注册的 Gym 环境分别对应白色障碍物与彩色障碍物任务。data_helpers.py 中通过gym_helpers.create_gym_environment(jumping-task)与create_gym_environment(jumping-colors-task, obstacle_color...)来创建环境。2.2 安装 Python 依赖requirements.txt 声明了全部运行依赖absl-py gin-config gym matplotlib numpy seaborn tensorflow2.0.0注意代码基于tensorflow.compat.v2编写train.py要求 TensorFlow 2.xgin-config用于 Gym 环境的配置注入见 gym_helpers.py 的gin.configurableseaborn与matplotlib用于绘制评估网格图并写入 TensorBoard。三、快速验证运行冒烟测试在完整跑实验之前建议先运行官方提供的冒烟测试脚本验证代码与环境是否就绪。在仓库根目录google_research下执行bash pse/jumping_task/run.sh该脚本会依次完成run.sh用virtualenv -p python3 .创建虚拟环境并激活git clone下载 jumping-task 环境并以 editable 模式安装gym-jumping-task安装pse/jumping_task/requirements.txt中的依赖以python3 -m pse.jumping_task.train --train_dir pse --training_epochs 125 --rand_conv启动一次 125 个 epoch、开启 RandConv 的短训练验证端到端流程可跑通。这里展示了两种训练入口的差异在仓库根目录下使用模块路径python3 -m pse.jumping_task.train在pse 目录内部使用模块路径python -m jumping_task.trainREADME 的 Launch 部分采用此方式。四、启动 PSE 训练基本命令从pse目录内部执行python -m jumping_task.train --train_dir {TRAIN_DIR} --training_epochs {EPOCHS}两个必选参数在 train.py 中通过flags.mark_flag_as_required强制校验参数类型说明--train_dirstring训练 checkpoint 与 TensorBoard 摘要的保存目录--training_epochsint训练的总 epoch 数论文复现统一使用 2000训练过程中会做三件重要的事train.py每save_checkpoint_every_n_epochs默认 40个 epoch 保存一次 checkpoint每evaluate_every_n_epochs默认 20个 epoch 在全部环境网格上评估一次把评估网格图写入 TensorBoard在每个 epoch 结束时按decay_rate默认 0.999指数衰减学习率。五、复现论文主要结果三种网格配置论文主结果RandConv PSEs在三种训练任务网格配置上验证$SEED从 1 取到 100每个 seed 对应一次独立训练用于统计均值与方差。README 给出了三条可直接运行的命令。5.1 wide 网格宽松网格训练环境覆盖较宽的障碍物位置与地面高度范围python -m jumping_task.train --training_epochs 2000 --seed $SEED \ --soft_coupling_temperature 0.01 --alpha 5.0 --temperature 0.5 \ --learning_rate 0.0026 --no_validation --rand_conv5.2 narrow 网格紧凑网格训练环境被压缩到更小的参数区间障碍物位置 28–38、地面高度 13–17泛化难度更高python -m jumping_task.train --training_epochs 2000 --seed $SEED \ --min_obstacle_position 28 --max_obstacle_position 38 --min_floor_height 13 \ --max_floor_height 17 --positions_train_diff 2 --heights_train_diff 2 \ --soft_coupling_temperature 0.01 --alpha 5.0 --temperature 0.5 \ --learning_rate 0.0026 --no_validation --rand_conv与 wide 网格相比narrow 网格额外覆盖了 4 个关键参数参数默认值narrow 网格取值含义--min_obstacle_position2028训练可见的最小障碍物位置--max_obstacle_position4538训练可见的最大障碍物位置--min_floor_height1013训练可见的最小地面高度--max_floor_height2017训练可见的最大地面高度--positions_train_diff52障碍物位置的采样步长决定训练位置密度--heights_train_diff52地面高度的采样步长从 train.py 的参数校验注释可以看到环境参数的合法范围min_obstacle_position 14、max_obstacle_position 48、min_floor_height 0、max_floor_height 41。在 narrow 网格中训练位置将按步长 2 在[28, 38] × [13, 17]区间上均匀采样产生约(11/21) × (5/21) ≈ 42个训练环境组合实际由 generate_training_positions 以笛卡尔积生成。5.3 random 网格随机网格训练环境从完整参数区间内随机采样检验 PSE 在随机任务子集上的学习能力python -m jumping_task.train --training_epochs 2000 --seed $SEED \ --soft_coupling_temperature 0.01 --alpha 5.0 --temperature 0.5 \ --learning_rate 0.0026 --no_validation --rand_conv --random_tasks--random_tasks开启后generate_training_positions 会先根据positions_train_diff/heights_train_diff计算训练环境数量再用np.random.seed(seed)从完整位置/高度集合中随机抽取相同数量的环境组合因此不同 seed 对应不同的训练任务集合。5.4 彩色障碍物实验PSEs colors为了验证 PSE 对视觉外观变化颜色的泛化能力README 给出了PSEs在彩色障碍物上的复现命令$SEED同样从 1 到 100python -m jumping_task.train --training_epochs 2000 --seed $SEED \ --soft_coupling_temperature 0.01 --alpha 5 --l2_reg 0.00007 \ --learning_rate 0.006 --temperature 0.5 --no_validation --use_colors与前面三个命令相比这一配置开启--use_colors生成红色RED行为与白色一致与绿色GREEN行为不同两种障碍物的模仿数据见 data_helpers.py 的OBSTACLE_COLORS枚举引入--l2_reg 0.00007对网络权重施加 L2 正则默认 0即不启用学习率更高0.006 vs 0.0026。当--use_colors开启时train.py 会使用红色障碍物的数据来生成对比对齐的样本对而评估阶段则对 WHITE / RED / GREEN 三类环境分别打分并写入 TensorBoardeval/{split}_{color}_solved等标量见 train.py。5.5 超参数速查表以上复现命令共同涉及的对比学习超参数定义在 train.py汇总如下参数默认值论文复现常用值说明--alpha1.05.0表示对齐损失alignment loss的权重系数--temperature1.00.5对比损失NT-Xent 风格中的温度--soft_coupling_temperature1.00.01计算 soft coupling 时的温度--learning_rate1e-20.0026 / 0.006Adam 优化器初始学习率--l2_reg0.00.0 / 0.00007L2 正则系数--batch_size256—批大小--decay_rate0.999—每 epoch 学习率衰减因子--dropout0.0—Dropout 比率--seed11–100随机种子--rand_convFalseTrue是否在输入上应用 RandConv 随机扰动--no_validationFalseTrue关闭验证集划分全部环境归入测试--use_coupling_weights0—是否用 coupling 权重加权正负样本--ground_truth_couplingFalse—是否使用真实 coupling仅作对照实验--projectionTrue—表示学习前是否经过投影层--use_l2_lossFalse—是否用 L2 距离损失替代对比损失--use_bisimFalse—是否使用 π*-bisimulation 度量替代动作相似性度量其余基线baseline与消融ablation实验的详细超参数README 明确指向论文附录 G.3论文 PDF。六、源码级原理剖析理解了复现命令后下面从源码角度深入 PSE 在 Jumping Task 上的实现机制。6.1 整体训练流程main → train_agent → train_step 构成核心训练链路构建JumpyWorldNetwork策略网络2 个动作跳/不跳生成全网格的模仿学习数据专家轨迹按网格配置挑选训练环境位置集合每个训练 step计算交叉熵损失 可选的 L2 正则 可选的表示对齐损失加权求和后反传更新。train_step中损失组合的核心逻辑train.pytotal_loss cross_entropy_loss # 模仿学习主损失 total_loss l2_reg * l2_regularization_loss # 仅当 l2_reg 0 total_loss alpha * alignment_loss # 仅当 alpha 0即 PSE 的训练目标 行为克隆损失 α × 表示对齐损失 可选的 L2 正则。6.2 表示对齐损失与伪度量对齐损失的核心实现在 training_helpers.py 的representation_alignment_loss从训练环境中随机抽取一对环境sample_train_pair_index取出两者的观测、专家动作与奖励用网络提取两组观测的表示计算两两间的余弦相似度矩阵默认或 L2 距离矩阵计算两组专家轨迹之间的代价矩阵默认用动作相似性calculate_action_cost_matrix若开启--use_bisim则改用奖励差calculate_reward_cost_matrix用定点迭代求解满足贝尔曼风格的伪度量d_metricmetric_fixed_pointd_metric_new[i, j] action_cost_matrix[i, j] \ gamma * d_metric[min(i 1, n - 1), min(j 1, m - 1)]该迭代以gamma0.999见 train.py逐步扩散行为越相似、未来行为也越相似的轨迹对会获得越小的度量值即期望的伪度量目标最后把相似度矩阵与该伪度量送入对比损失使表示空间的相似度逼近行为相似性度量。6.3 带 soft coupling 的对比损失contrastive_loss 实现了带 soft coupling 的对比损失相似度矩阵先除以温度temperature以伪度量矩阵的逐行/逐列argmin确定正样本对若启用 coupling 权重use_coupling_weights则用coupling exp(-metric_values / coupling_temperature)构造软耦合矩阵把负样本按耦合强度加权这也是--soft_coupling_temperature 0.01的作用——温度越小coupling 越接近硬匹配损失为对称形式loss1 loss2分别按行、按列聚合 log-sum-exp。6.4 RandConv输入随机化RandConvmodel_helpers.py来自网络随机化方法对输入施加一个权重每次前向时随机重采样的卷积层。核心逻辑以概率alpha0.1跳过扰动原样返回输入否则用glorot_normal重新初始化卷积核并作用于输入模拟随机的视觉扰动。在 train.py 中开启--rand_conv后训练前会先调用一次rand_output预热层结构评估时 evaluation_helpers.py 采用蒙特卡洛平均eval_mc_samples 5见 train.py——对同一观测做 5 次前向、平均 softmax 输出后再取贪心动作以抵消随机卷积的方差。6.5 网络结构JumpyWorldNetwork 是一个小型卷积策略网络conv0: Conv2D(32, 8×8, stride 4)→conv1: Conv2D(64, 4×4, stride 2)→conv2: Conv2D(64, 3×3, stride 1)flatten → dense0(256) → dense1(64) → dense2(2)representation()方法输出 64 维表示projection开启时经过dense1供对齐损失计算相似度call()则在表示后接 dropout 与动作输出层用于策略预测。6.6 数据生成与评估专家轨迹生成generate_optimal_trajectory 针对每个位置, 高度组合在障碍物前JUMP_DISTANCE13步处执行跳动作绿色障碍物除外并断言累计奖励以保证轨迹最优观测通过 stack_obs 堆叠相邻帧形成 2 帧输入。训练数据组织create_balanced_dataset 将跳/不跳两类样本分开用sample_from_datasets以 1:1 比例上采样少数类缓解模仿学习中的类别不平衡。评估create_evaluation_grid 在全部环境组合上计算贪心动作与专家动作的差异判断任务是否被解决num_solved_tasks 按 train / validation / test 三个划分分别统计已解决任务数写入 TensorBoard 的eval/{split}_solved标量作为泛化性能的量化指标。七、训练产物与结果解读训练完成后--train_dir下会生成两类产物train.pymodel/checkpoint默认最多保留 1 份可用--max_checkpoints_to_keep调整tb_log/TensorBoard 摘要包括各损失曲线loss/total_loss、loss/cross_entropy_loss、loss/alignment_loss、loss/l2_regularization_loss、学习率曲线以及评估网格热力图Grid/Evaluation/{color}与解决任务数标量eval/{split}_solved。此外开启--show_alignment_loss_image后还会记录对齐损失中的 coupling 代价矩阵与相似度矩阵图像align/coupling_cost、align/similarity_matrix便于可视化表示是否正确地与行为相似性对齐train.py。使用 TensorBoard 观察tensorboard --logdir {TRAIN_DIR}/tb_log八、复现注意事项模块入口差异仓库根目录下用python -m pse.jumping_task.trainpse 目录内用python -m jumping_task.train两者等价注意当前工作目录与sys.path的关系。随机种子--seed同时作用于 TensorFlow、NumPy 与PYTHONHASHSEEDset_random_seed复现论文统计量需要从 1 到 100 完整跑一遍并聚合结果。环境参数合法性障碍物位置与地面高度的取值受环境限制 14 / 48、 0 / 41见 train.pynarrow 网格中的参数均在合法范围内。验证集开关论文复现命令统一使用--no_validation验证位置为空列表train.py全部环境作为测试集衡量泛化若需观察验证曲线去掉该 flag 后 train.py 会根据网格是否紧凑自动生成验证位置。依赖版本代码使用tensorflow.compat.v2与tf.kerasAPI需要 TensorFlow 2.xgym-jumping-task需先于训练脚本安装否则import gym_jumping_taskdata_helpers.py会失败。赞分享人工智能深度学习NLP计算机视觉强化学习【免费下载链接】google-researchGoogle Research项目地址https://gitcode.com/gh_mirrors/go/google-research点击查看免费下载相关推荐Contrastive RL把对比学习当作目标条件强化学习的 JAX 实现指南Contrastive RL把对比学习当作目标条件强化学习的 JAX 实现指南 本指南以 contrastive_rl 仓库为对象围绕论文《Contrast人工智能深度学习NLP计算机视觉强化学习DeepSeek-R1对比学习相似性推理应用DeepSeek R1对比学习相似性推理应用 引言新一代推理模型的突破 在人工智能快速发展的今天大型语言模型LLMLarge Language Mod基础模型大模型人工智能DeepSeekVLM-R1与SFT方法对比为什么强化学习在跨域泛化上更胜一筹VLM R1与SFT方法对比为什么强化学习在跨域泛化上更胜一筹 在当今多模态AI快速发展的时代视觉语言模型VLM的训练方法选择直接影响着模型的性能表现。人工智能大模型多模态计算机视觉强化学习微调模型评测Ascend创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考