强化学习入门 1用通俗易懂的方法认识强化学习作者晓柒一句话理解强化学习让一个“玩家”在环境中不断尝试并根据奖励与惩罚逐渐学会在不同情况下应该采取什么行动。前言提到强化学习不少人会马上联想到大模型、智能体和各种复杂算法还没开始就已经打了退堂鼓。其实强化学习并没有想象中那么神秘。抛开公式和算法细节它的基本逻辑与我们学习骑自行车、训练宠物甚至下棋的过程十分相似先尝试再根据结果调整做法最终找到更好的行动方式。这篇文章将从强化学习的基本概念出发并借助大家熟悉的围棋带你建立一个直观、完整的认识。目录一、认识强化学习二、强化学习的三层结构第一层基本元素第二层反馈元素第三层学习目标三、通过围棋理解强化学习四、总结一、认识强化学习什么是强化学习如果在网上搜索这个问题你大概率会看到类似的解释强化学习Reinforcement LearningRL是一种机器学习方法。智能体通过与环境交互进行试错学习以最大化累积奖励。这句话很准确但对初学者并不友好。我们不妨先把它翻译成更直白的表达强化学习就是让一个“玩家”不断尝试并依据每次尝试得到的反馈逐渐学会怎样行动才能获得更好的长期结果。这里有三个关键词尝试玩家一开始并不知道什么做法最好需要亲自行动。反馈环境会通过奖励或惩罚告诉玩家这次行动的结果如何。长期结果强化学习追求的通常不是眼前的一次奖励而是一连串行动带来的总收益。例如刚学骑自行车时我们会不断调整身体重心。保持平衡、顺利前进可以看作“奖励”车身摇晃或摔倒则可以看作“惩罚”。经历多次尝试后我们便会逐渐掌握平衡。这就是强化学习思想在生活中的一个缩影。强化学习的基本循环强化学习的过程可以概括为观察状态 → 选择动作 → 环境发生变化 → 获得奖励 → 调整策略 → 再次行动图 1 强化学习的核心是一个不断重复的“观察—决策—行动—反馈”闭环这个循环会不断重复。随着经验的积累智能体会逐渐减少效果不好的动作并更多地选择能够带来较高长期收益的动作。二、强化学习的三层结构为了更容易理解我们可以把强化学习中的重要概念分成三层层次关键概念要回答的问题第一层基本元素智能体、环境、动作谁在什么地方做什么第二层反馈元素状态、奖励当前情况怎样行动结果怎样第三层学习目标策略、价值下一步该怎么做长期来看是否值得第一层基本元素1. 智能体Agent智能体是与环境互动并作出决策的主体。Agent 常被翻译为“智能体”或“代理”。为了方便理解我们也可以暂时把它看作游戏中的“玩家”它能够观察当前情况、采取行动并根据结果调整自己的选择。智能体可以是一段程序、一个机器人、一辆自动驾驶汽车也可以是游戏中的 AI。2. 环境Environment环境是智能体所处并与之互动的外部世界。智能体采取动作后环境会发生变化并把新的状态和奖励反馈给智能体。例如对扫地机器人来说环境是房间、家具和地面对自动驾驶汽车来说环境是道路、车辆、行人与交通规则对围棋 AI 来说环境则包括棋盘、棋子、规则以及对手。3. 动作Action动作是智能体在当前情况下可以作出的选择。扫地机器人可以前进、后退或转向自动驾驶汽车可以加速、减速或变道围棋 AI 则可以把棋子落在棋盘上的某个合法位置。智能体、环境和动作共同回答了一个最基础的问题谁在什么地方做了什么第二层反馈元素1. 状态State状态是对当前环境情况的描述也是智能体作出判断的重要依据。例如在围棋中棋盘上黑白棋子的分布可以构成一个状态在自动驾驶中车速、车道、前车距离和信号灯颜色都可以成为状态的一部分。状态信息越充分智能体越有可能作出合理的判断。如果无法准确了解环境决策自然会变得更加困难。2. 奖励Reward奖励是环境对智能体某次行动给出的反馈信号。它可以是正数、负数也可以是零。正奖励表示“这个结果不错”负奖励表示“这个结果不理想”零奖励则表示“暂时没有明显反馈”。需要注意的是奖励不等于最终目标本身而是我们用来引导智能体学习的信号。奖励设计得是否合理会直接影响智能体最终学到什么。例如如果只奖励扫地机器人的移动速度它可能学会在房间里快速乱跑却没有真正把地面扫干净。这个例子说明智能体会努力完成奖励所鼓励的事情而不一定自动理解我们真正想要的结果。第三层学习目标1. 策略Policy策略是智能体选择动作的规则通常记作 π。简单来说策略回答的是在当前状态下我应该采取哪个动作策略既可以是固定规则也可以是一个能够根据经验不断更新的模型。强化学习的主要任务之一就是找到一个尽可能好的策略。2. 价值Value价值用于衡量从当前状态或动作出发未来大概能够获得多少累计奖励。奖励更关注一次行动后的即时反馈价值则更关心长期影响。一个动作眼前可能没有奖励甚至暂时吃亏但如果它能提高最终获胜的概率那么它的长期价值依然可能很高。这一区别十分重要概念关注点围棋中的例子奖励眼前得到的反馈如果把“提子”设为奖励那么提子后会立即得到反馈价值未来可能获得的总收益这一步是否提高了整盘棋获胜的概率策略负责“作出选择”价值负责“评价选择”。二者相互配合帮助智能体逐渐找到更好的行动方式。三、通过围棋理解强化学习围棋非常适合用来理解强化学习因为一局棋本身就是一个不断观察、行动和反馈的过程。图 2 围棋 AI 会比较不同落子路径并关注每一步对最终胜负的长期影响概念对应强化学习概念围棋中的对应事物智能体Agent正在下棋的 AI环境Environment棋盘、规则和对手状态State当前棋盘上黑白棋子的分布以及轮到哪一方落子动作Action在某个合法位置落子或选择停一手奖励Reward最终获胜可得到正奖励失败则得到负奖励策略Policy面对当前棋局时决定下一步落在哪里价值Value判断当前局面或某一步棋最终带来胜利的可能性一步棋是怎样完成的假设现在轮到围棋 AI 落子AI 先观察当前棋盘也就是读取当前状态它根据已有的策略从所有合法落子位置中选择一个动作棋盘因为这次落子而发生变化对手随后也会行动AI 评估新局面的价值并继续作出下一次选择对局结束后它根据胜负获得最终奖励AI 利用这局棋的经验调整策略让自己下一次更有可能获胜。经过大量对局后AI 会逐渐发现哪些棋形更有利、哪些落子虽然眼前不起眼却能提高最终获胜的概率。为什么围棋中的学习并不简单围棋看似只是轮流落子背后却存在几个典型难题选择太多棋盘上的可选位置很多未来的局面数量更是极其庞大奖励延迟很多时候只有对局结束后才能确定输赢功劳难分一局棋有许多步很难立即判断究竟是哪一步奠定了胜局或导致了失败探索与利用的平衡AI 既要使用当前已知的好棋也要尝试新的下法才有机会找到更优策略。这些问题不仅存在于围棋中也是强化学习研究需要解决的核心问题。四、总结强化学习并不是一堆孤立的专业名词而是一个连贯的学习过程智能体观察环境的状态按照策略选择一个动作环境随后发生变化并给出奖励。智能体根据奖励和对未来价值的判断调整策略经过反复尝试最终学会获得更高的长期收益。如果只记住一个公式可以记住下面这条“文字公式”强化学习 观察环境 采取行动 接收反馈 调整策略本文介绍的七个概念可以分成三个层次智能体、环境、动作构成了互动的基础状态、奖励让智能体知道“现在发生了什么”和“刚才做得怎么样”策略、价值帮助智能体决定“接下来怎么做”以及“长期来看是否值得”。理解了这套互动逻辑也就迈出了强化学习入门的第一步。后续再接触 Q-Learning、策略梯度、价值函数等内容时你会发现它们其实都在尝试回答同一个问题怎样让智能体从经验中学习并作出更好的长期决策如果这篇文章对你有所帮助欢迎点赞、收藏并继续关注后续内容。