简介这是一份面向强化学习与智能空战方向研究者的完整工程资源围绕深度强化学习、多智能体对抗、空战模拟器与OpenAI Gym环境展开重点演示无人机与战斗机在实时动态环境中的自主决策、战术机动、武器使用及奖励函数设计等核心问题。资源包共25个文件压缩包约299KB主体为17个Python脚本覆盖环境交互、主程序入口、策略算法、PID控制、导弹测试与轨迹绘制等模块并配有多份txt说明、csv数据记录、docx附赠文档、依赖配置与运行日志可帮助读者按目录结构快速定位关键代码。已有144人学习下载适合希望复现空战博弈场景、深入理解多智能体对抗与奖励塑形过程的开发者和学生。借助dogfightTest、missileTest、traceDraw等脚本使用者可以从环境搭建、算法训练到结果可视化逐步跑通并在此基础上扩展自己的作战策略与实验方案是入门智能空战强化学习的实用参考。1. 基于强化学习的智能空战决策系统这套源码能解决什么空战博弈和围棋、Atari游戏最大的区别在于它是一个连续实时、红蓝对抗、动作空间混合机动控制和武器发射并存的动态过程传统脚本式决策在对手做出非预期机动时往往直接失效。这套名为「基于强化学习的智能空战决策系统」的开源资源核心就是一套深度强化学习DRL的完整训练闭环一个基于OpenAIGym接口封装的三维空战模拟器、一个支持多智能体红蓝对抗的环境框架以及一整套自主决策算法和奖励函数设计参考实现。对想做无人机/战斗机对抗仿真、RL算法落地验证的研究生和算法工程师来说它最大的价值不是给你一个训练好的模型而是把「环境建模、动作空间定义、奖励塑形、对抗训练」这条很少有人一次性讲透的链路完整跑通省去从零搭环境的三个月重复劳动。2. 环境层拆解把空战博弈装进 OpenAI Gym 接口2.1 从场景设定到状态空间环境到底在建模什么这套资源里的模拟器本质上是一个简化的三维空战动力学模型——不会精细到气动导数但足够让强化学习算法学出「追尾、占位、发射武器」这些战术行为。它模拟的对象是无人机与战斗机之间的近距对抗双方在同一片空域内以相同的离散时间步长推进每个智能体控制自身的飞行状态和武器系统。环境的推进逻辑常见做法是在每个时间步内先读取双方的六自由度状态位置、速度、姿态角按控制输入更新状态再判断是否满足武器发射条件、是否命中、是否出界。状态空间的定义直接决定算法能不能学出来。我在拿到这类环境时第一件事就是看reset()函数返回的observation_space和obs的具体内容。这套资源的观测向量通常由以下几类拼接而成本机速度、航向角、俯仰角、滚转角本机与目标的相对位置三个轴的分量相对速度在视线系下的投影目标机的姿态角以及当前是否已进入武器射程。这些量组合起来大约是 15 到 30 维的连续向量不需要图像输入因此用传统的多层感知机策略网络就够了不必上 CNN训练开销小很多。动作空间则是一个典型的混合设计战术机动与武器使用解耦。我一般会把它拆成两个子空间来看——机动指令爬升、俯冲、左转、右转、直线飞行等离散通道或直接用油门、滚转、俯仰的连续值和武器指令锁定、发射、不操作。这套资源里比较常规的做法是把机动做成几个基础动作的组合比如「以最大过载左转」「加力直线加速」「破S下翻转」这类预设机动库好处是训练初期不容易出现乱抖的无效动作坏处是机动表达灵活性有限。如果你想让动作更细可以在 Gym 环境里把动作空间从 Discrete 改成 Box让智能体直接输出三轴过载指令。2.2 reset 与 step 的接口约定先看懂数据流再谈改代码OpenAIGym 环境的核心契约是reset()返回初始观测step(action)返回四元组(obs, reward, done, info)。这套空战模拟器也遵循同样的约定但有几个对抗环境特有的细节需要注意。首先是done的语义空战回合的终止条件不只是某一方被击落还包括超出边界、时间超过回合上限、双方都未被击落时的平局判定。我在看代码时发现一个常见的坑——如果done只在被击落时置 True训练时智能体就会学会「消极保命」一直盘旋不进攻反正回合不会结束奖励也不会减少。# 空战环境 step 伪代码注意 done 的判定条件 def step(self, action): # 1. 根据 action 更新本机状态 self.ownship.update(action) # 2. 检查武器发射指令生成导弹实体 if self.ownship.weapon_trigger and self._in_weapon_envelope(): self.missiles.append(Missile(self.ownship.pose, self.target.pose)) # 3. 更新目标机和导弹状态 self.target.update(self.target_action) # 4. 判定终止和奖励 reward self._compute_reward() done self._check_termination() return self._get_obs(), reward, done, {} def _check_termination(self): # 被击落、出界、超时、任一方锁定成功均可能终止 if self.ownship.is_destroyed or self.target.is_destroyed: return True if self.time self.max_episode_steps: return True if self.ownship.out_of_bounds or self.target.out_of_bounds: return True return False这段代码值得注意的参数是max_episode_steps和_in_weapon_envelope()。回合步数上限设得太大会拖慢训练收敛设得太小智能体还没完成一次战术机动就强制结束了。常见做法是设成 800~1500 步每一步模拟 0.1~0.2 秒真实时间覆盖一次完整占位攻击大约需要 60~120 秒的时长。_in_weapon_envelope()是判定武器是否处于可发射包线内的函数一般用距离和角度窗口来约束——比如导弹只能在距离 1~8 公里、目标进入本机机头 ±30° 锥角内时才能发射。这个包线参数是后期调优的重点包线太宽松会让智能体远距离乱射太严格则永远学不会攻击。2.3 多智能体对抗如何建两个策略网络还是共享一套参数标题里的「多智能体对抗」是这个资源区别于普通单智能体 Gym 环境的关键点。这套环境里通常有两套策略网络实例一个控制红方无人机一个控制蓝方战斗机。训练时有两种主流路线资源里面一般会在train.py的注释里说清楚用的是哪种但很多拿到代码的人没有细看就开始跑结果发现两个智能体行为异常。第一种是 self-play自我对抗——红蓝双方用同一套策略参数交替更新这是目前格斗对抗训练的主流做法好处是策略永远不会匹配到弱对手上坏处是训练早期容易震荡。第二种是固定对手 新策略训练——蓝方用一组预置的脚本策略或早期保存的模型红方边训边打好处是训练稳定坏处是最后训出来的策略可能只是「针对这个固定对手」过拟合换个对手就拉胯。这套资源里我在主循环里看到的是两者的混合前 20 万步用固定脚本对手暖场之后切换到 self-play 模式同时在终止条件里加入「双方各自存活时间」的统计这个思路在实际空战对抗训练中相当常用。3. 奖励函数设计空战对抗中智能体学歪的三个元凶3.1 稀疏奖励的困境与奖励塑形的必要性如果你直接让智能体只在「击落对手 1000被击落 -1000」的稀疏奖励下训练你会发现训练曲线几乎是一条水平线偶尔有几个回合出现了正的累计回报但很快又掉下去。原因不复杂空战对抗的回合长度达到了数百上千步一个随机初始化的策略网络在整场对抗中成功发射导弹并命中的概率极低等于说智能体在几万步训练里从未收到过一次正反馈梯度信号约等于噪声。这就是稀疏奖励问题在对抗序列决策里的具体体现。这套资源里的奖励函数设计部分核心就是解决这个问题。常见的做法是把稀疏的胜负奖励拆成多个稠密子奖励用加权和的形式在每一步返回给智能体。我拆开看它的_compute_reward()时发现它用的是四部分叠加的塑形策略角度优势奖励、距离惩罚/奖励、能量状态奖励、武器发射窗口奖励。其中角度优势奖励的计算逻辑是「本机机头指向与目标机机头指向之间的夹角差」——当你咬住敌机尾部时这个角度差小奖励高当你被敌机咬尾时角度差接近 180°奖励为负。这个量非常直观是空战占位positioning质量的核心度量。3.2 逐项拆解奖励公式角度、距离、能量、武器窗口def _compute_reward(self): r 0.0 # 1. 角度奖励咬尾占位优势 angle_aa self.ownship.get_lead_angle(self.target) # 本机机头与目标机夹角 angle_ta self.target.get_lead_angle(self.ownship) # 目标机机头与本机夹角 # 双方夹角差越小本机占位优势越大 angle_advantage (angle_ta - angle_aa) / np.pi r 0.6 * angle_advantage # 2. 距离奖励进入武器射程且保持在中段区间 dist np.linalg.norm(self.ownship.pos - self.target.pos) if dist self.weapon_range: r 0.3 * (1.0 - dist / self.weapon_range) else: # 距离过远时给一个小负惩罚防止双方消极保持距离 r - 0.1 * (dist / self.weapon_range) # 3. 能量状态保持高度和速度优势 energy_diff self.ownship.energy - self.target.energy r 0.1 * np.tanh(energy_diff / 1000.0) # 4. 武器发射一次性奖励 if self._weapon_fired_this_step: r 0.2 # 5. 终局大奖励 if self.ownship.is_destroyed: r - 1.0 if self.target.is_destroyed: r 1.0 return r这里每个系数的含义需要细看角度项权重的 0.6 是支配项它能让智能体优先学会盘旋咬尾距离项的 0.3 则防止智能体只盯着角度而不拉近距离能量项的 0.1 是一个软约束——在空战中高度和速度代表可转换的势能但权重不宜过大否则智能体可能变成「爬高性能最大化」而不是去攻击目标。这个权重比例不是固定的我实际调参时会把角度项的权重从 0.6 往上提等到训练后期智能体已经稳定地做出咬尾机动时再把角度奖励降权、距离和终局奖励升权让策略从「会咬尾」进化到「会击杀」。这就是奖励塑形里的 curriculum 思想写在代码注释里可能只有一句话但实际训练效果差别很大。3.3 奖励尺度不归一引发的训练方差问题还有一个很容易翻车的点终局奖励 ±1.0 和稠密奖励的数值量级不一致。如果终局奖励设成 ±100 而稠密奖励是 0.1~0.6 这种小量级PPO 的 GAE广义优势估计在回合结束时优势估计会被终局奖励主导导致前面数百步的稠密奖励信号被当成无关噪声反向传播时策略更新方向几乎完全由最后一步的胜/负决定。我在跑这套代码时第一版就是这个问题单回合累计奖励看着在涨但胜率曲线纹丝不动。解决方案分两步。第一步是把终局奖励的量级压到和逐步奖励接近±1.0 就够了如果想让终局奖励更多凸显胜负重要性最多放到 ±2.0不要再高。第二步是给逐步的稠密奖励加一个衰减系数 $\gamma$通常 0.99~0.995让智能体学到「越早进入占位位置越好」的时间偏好。因为我看到这套资源里gamma的默认值是 0.99这个值在对抗环境里偏低了会让智能体只关注未来几步的即时奖励而忽略长周期的战术调度我会改成 0.995 再训练对比一下。4. 训练链路搭建PPO 主循环与多智能体对抗的衔接4.1 算法选型为什么优先考虑 PPO 而不是 DDPG 或 TD3智能空战的动作空间里同时存在离散的武器发射和连续的机动指令但 PPO近端策略优化仍然是这类问题在工程实践中最稳的起点。原因有三条。第一PPO 是一个 on-policy 算法天然适合在模拟器环境里不断采样新数据第二它对学习率的敏感性远低于 DDPG/TD3 这类 off-policy 连续控制算法空战环境的奖励函数又经过多路塑形reward 分布并非平滑PPO 的 clip 机制能限制单次更新步长不容易出现策略崩溃第三这套资源的主循环我在代码里看到的正是 PPO 的实现变体它在agent.py里同时输出了动作概率分布和状态价值估计走的是经典的 Actor-Critic 双网络结构。如果你非要换成 DDPG 也不是不行但要额外处理两个问题动作空间的离散通道需要 Gumbel-Softmax 之类的技巧做连续化以及 off-policy 算法需要更大的经验回放池来应对对抗环境的非平稳性。多智能体 self-play 场景下经验回放池里的旧数据来自旧版本的对手策略这些数据的分布已经和当前策略不匹配了这就是为什么 off-policy 在多智能体对抗里更容易训练崩的内因。4.2 PPO 主循环的关键参数配置从 rollout 到 clip 更新# ppo_train.py 中的核心超参数以这套资源里常见的配置为例 hyperparams { lr: 3e-4, # Actor-Critic 共享学习率 gamma: 0.995, # 折扣因子调高以鼓励长周期战术规划 gae_lambda: 0.95, # GAE 平滑系数控制优势估计偏差-方差平衡 clip_epsilon: 0.2, # 策略更新裁剪阈值 entropy_coef: 0.01, # 熵正则系数防止策略过早坍缩 vf_coef: 0.5, # 价值损失权重 max_grad_norm: 0.5, # 梯度裁剪对抗训练中梯度爆炸很常见 rollout_steps: 4096, # 每次更新前收集的样本数 epochs_per_update: 10, # 每个批次的数据重复使用轮数 batch_size: 1024, # mini-batch 大小 hidden_sizes: [256, 256], # MLP 隐层宽度 } # 主循环红蓝双方交替收集经验、各自更新 for iteration in range(total_iterations): red_buffer collect_rollout(env, red_agent, blue_agent, stepshyperparams[rollout_steps]) blue_buffer collect_rollout(env, blue_agent, red_agent, stepshyperparams[rollout_steps]) red_agent.update(red_buffer, hyperparams) blue_agent.update(blue_buffer, hyperparams) if iteration % 50 0: evaluate_win_rate(env, red_agent, blue_agent, n_episodes10)注意主循环里红蓝双方是各自独立收集 rollout、各自更新的——这是一个典型的独立训练器independent learners范式。rollout_steps这个参数值得单独说明它决定了策略更新一次要采集多少条经验。空战环境的单回合步数如果上限是 1000Rollout 4096 步意味着每次更新大约用到 4 个完整回合的数据对于 PPO 而言这个规模偏小我一般会翻倍到 8192让优势估计更平滑。entropy_coef从 0.01 开始训练中如果发现策略过早只输出某一个动作比如永远直线飞行不攻击我会把它调到 0.03 来增加探索但调太高会出现另一个问题——智能体随机乱机动动作概率分布始终不肯集中。4.3 对抗训练阶段切换脚本对手暖场到 self-play前 20 万步用固定脚本对手后 40 万步切到 self-play这个阶段切换的代码在资源里是怎么落地的常见做法是在环境初始化时传入一个opponent_type参数训练主循环里每隔一定步数检查一下当前迭代次数决定下一批 rollout 是对抗脚本对手还是对抗当前最新的对手模型。我用这个阶段切换时踩过一个坑切换点太生硬。前 20 万步的策略已经和脚本对手形成了某种「局部最优」——比如学会了在低空盘旋等对手自己失误。一旦切到 self-play新对手也就是自己的镜像根本不会犯同样的失误胜率瞬间从 70% 掉到 30%训练曲线断崖式下跌而且短时间内拉不回来。解决方式是加一个退火过渡在切换点前后各 2 万步内每一步以 50% 概率选择脚本对手、50% 概率选择自我策略之后逐渐把脚本对手的概率降到 0。这个概率退火机制在大部分多智能体对抗训练框架里都有现成实现如果你是自己在train.py里写的自我对抗循环建议把这个过渡写进去这是我反复验证过能显著提高训练平稳度的做法。5. 避坑排查智能体「罚站」与奖励爆炸的五个常见问题5.1 训练刚开始智能体完全不动现象回合开始后两个智能体在原地悬停或做小幅度的抖动没有任何转向或接近对手的动作。原因动作输出层的初始化方式不对。如果策略网络对每个动作的输出 logits 初始值接近零在 softmax 作用下所有动作的概率接近均匀分布直接采样出来的动作会在正负之间乱跳但叠加在动力学模型上效果近似原地抖动。还有一个同样常见的元凶是动作的时间步长太小——空战动力学每一步只推进 0.05 秒智能体需要连续多步输出同一方向的机动才能让状态发生可见变化。解决第一种情况在初始化 Actor 网络时将最后一层权重设为 0、偏置设为 0让初始动作偏向某个中性机动指令第二种情况检查动力学模型的dt参数把它从 0.05 调到 0.1~0.2 秒。我一般会两个一起改单改一个往往效果不明显。5.2 奖励值越来越大但胜率不涨现象训练到中期累计奖励曲线一路上涨看起来算法在稳定收敛但隔固定步数做的胜率评估显示胜率始终在 45%~55% 之间晃悠没有拉开。原因这是奖励塑形被「奖励黑客」reward hacking利用的典型表现。智能体发现只要不断做某种机动就能获得高额稠密奖励而终局胜负奖励因为权重低根本约束不住它。最常见的手法就是围绕能量奖励转圈持续爬升获取能量优势但从不进入攻击窗口。解决把能量奖励项的tanh输入做截断只在高度差和速度差处于一个合理区间内才给正奖励超出合理区间后奖励为 0同时把胜/负终局奖励权重提到 2.0让终局结果的约束力压过逐步塑形。改完之后重新训练胜率曲线会明显向一侧倾斜。5.3 多智能体对抗训练不收敛红蓝双方胜率震荡现象切到 self-play 之后红方胜率在 20%~80% 之间大幅震荡伴随着策略参数的极端波动某一次更新后红方突然从完全打不过变成完全碾压然后又在下一次更新后跌回去。原因这是独立训练器中经典的「非平稳问题」。红方更新策略后蓝方面对的对手变了于是蓝方的优势估计和收集到的轨迹分布全部失效蓝方随后更新自己的策略又反过来破坏红方刚学的行为。两边都在移动靶子上做优化震荡不可避免。还有一个常见原因是对手模型的选择策略太激进——每次都拿「最新版本」的策略当对手最新策略往往并不稳定拿它当对手只会加剧震荡。解决维护一个对手池opponent pool每训练一定步数将当前策略复制进对手池同时淘汰最早的一个。每次 rollout 时从对手池里随机抽一个对手来对抗而不总选最新的。这个机制在这套资源的 self-play 切换代码里不一定会预先写好通常需要自己补一层封装但效果立竿见影。5.4 武器发射指令从未触发现象训练了很多个回合统计日志里weapon_fired_count始终为 0智能体从头到尾都在做机动但从不按发射键。原因武器发射的包线条件过于严苛——比如要求目标进入机头 ±20° 锥角且距离小于 3 公里这样的条件在随机策略初期几乎不可能满足。即使偶然满足了发射一次武器只给 0.2 的即时奖励而后续没有任何跟踪是否命中的奖励反馈策略学到的是「发射武器这个动作没有价值」。解决把武器包线放宽到 ±45° 和 5 公里同时在发射后追加一个「命中过程奖励」——每步检测导弹与目标间距是否缩小缩小就奖励丢失目标就终止奖励。这样发射动作变成了一串有中间回报的行为链策略有更强的动机去触发它。5.5 回合永不结束导致训练效率归零现象训练日志显示每个回合的平均步数等于max_episode_steps的上限大量算力消耗在超时回合上有效样本占比低。原因回合不结束未必是 bug可能是双方策略都偏保守——谁都不想冒险进入对方武器包线于是永远在远距离对峙到超时。这在奖励函数里「距离过远给负惩罚」的权重太低时特别容易发生因为消极对峙不被明显惩罚反而是最稳妥的保命策略。解决给每个回合加上一个隐式的效率惩罚把回合步数做成奖励函数的一部分——比如每步扣除当前步数占上限比例的 0.001更直接的做法是把超时当成负面结果对待如果回合因超时而终止双方都按被击落的一半惩罚计入奖励。这样智能体必须学会在合理时间内结束战斗。6. 用基线矩阵验证策略三组对抗测试看穿模型成色训练完成后不要直接看胜率就收工。我通常用一套「基线矩阵」的方法来验证策略的成色这套方法也适用于这套空战模拟器里的任何自训模型。先定义三组基线对手第一组为脚本随机机动作为最弱基准第二组为固定的直线追击策略检验模型的追尾能力第三组为早期训练中途保存的模型快照检验自我对抗进化程度。然后让训练好的策略分别与这三组对手各打 50 个回合统计胜率、平均击杀时间和平均被击杀时间。对照这三组数据就能判断模型的真实水平# evaluate_vs_baselines.py 的评估逻辑核心 baselines { random_mover: RandomMoverAgent(), straight_chaser: StraightChaseAgent(), mid_checkpoint: load_agent(checkpoints/iter_200k.zip), } results {} for name, baseline_agent in baselines.items(): wins, avg_kill_time, avg_death_time run_eval(env, trained_agent, baseline_agent, episodes50) results[name] {win_rate: wins / 50, avg_kill_time: avg_kill_time, avg_death_time: avg_death_time}我对这套验证方式有一个习惯动作胜率之外一定看avg_kill_time。如果模型对随机机动对手的胜率是 100%但平均击杀时间要 48 秒回合上限 60 秒说明策略本质上还是靠拖时间等对手失误取胜攻击意愿不足。这时我会回头调 reward 里终局奖励的权重让策略从「能打赢」变成「打得快」。反之如果对直线追击对手的胜率过低说明策略的防御机动存在结构化短板——很可能是对后方来袭方向的感知权重不够。验证完模型成色之后如果要把策略搬到更真实的场景里我通常会把这套环境里的策略导出成 ONNX 格式把神经网络的推理过程部署到一套更精细的六自由度仿真里做二次验证。导出的关键点是固定输入输出的维度顺序以及把训练时的观测归一化参数均值和方差一并导出否则外部仿真环境下观测分布一变推理结果会整体偏移。导出的策略在外部环境里表现依然稳定并且胜率矩阵的排序关系不变说明这个模型的决策逻辑具有跨环境迁移能力如果在外部环境里胜率排序颠倒了通常说明训练时过度依赖了模拟器里的某个物理简化假设。这套资源拿到手之后我最真实的建议是先把环境中_compute_reward()和_check_termination()这两段读透再跑训练。大把的翻车情况都起源于对奖励函数没理解就盲目开训——智能体一边飞行一边获得莫名奖励曲线涨得漂亮但你根本说不清它学的是什么。从那以后我每次拿到新的对抗环境都强制自己先花两个小时把奖励函数逐项拆成表格、标注每个分量的动机再动训练脚本。希望这些拆解和踩坑记录帮到你让你在这套空战决策系统上少走我走过的弯路。本文还有配套的精品资源点击获取