第 3 章强化学习导论

强化学习（Reinforcement Learning，RL）是一种范式：智能体（Agent）通过与环境（environment）交互、接收作为反馈的奖励（reward），并优化其策略（policy）以最大化长期累积奖励来学习做出序贯决策[346]。与监督学习（需要带标签的输入-输出对）不同，RL 通过试错来发现最优行为。

图 3.1：强化学习概览：智能体与环境交互，接收奖励作为反馈，并通过试错更新其策略。与从带标签数据对中学习的监督学习不同，RL 通过经验最大化奖励来学习应当做什么。

马尔可夫决策过程（Markov Decision Process，MDP）

MDP 是一个五元组 $(S,A,P,R,\gamma)$ ：

$S$ ：状态空间——环境所有可能的配置
$A$ ：动作空间——智能体可用的所有动作
$P(s^{\prime}|s,a)$ ：转移函数——在状态 $s$ 下采取动作 $a$ 后到达状态 $s^{\prime}$ 的概率
$R(s,a,s^{\prime})$ ：奖励函数——一次状态转移获得的即时标量反馈
$\gamma\in[0,1]$ ：折扣因子——未来奖励相对于即时奖励的权重

马尔可夫性质：未来只依赖于当前状态，而不依赖于历史：

P(s_{t+1}|s_{t},a_{t},s_{t-1},a_{t-1},\ldots)=P(s_{t+1}|s_{t},a_{t})

这一性质使问题变得可处理。

核心概念与定义

策略（Policy） $\pi(a|s)$ ：从状态到动作概率的映射。确定性策略： $a=\pi(s)$ 。随机性策略： $a\sim\pi(\cdot|s)$ 。

回报（Return）（累积折扣奖励）：

G_{t}=\sum_{k=0}^{\infty}\gamma^{k}r_{t+k}=r_{t}+\gamma r_{t+1}+\gamma^{2}r_{t+2}+\cdots

(3.1)

价值函数（在策略 $\pi$ 下从状态 $s$ 出发的期望回报）：

V^{\pi}(s)=\mathbb{E}_{\pi}\left[G_{t}\mid s_{t}=s\right]=\mathbb{E}_{\pi}\left[\sum_{k=0}^{\infty}\gamma^{k}r_{t+k}\mid s_{t}=s\right]

(3.2)

动作价值函数（从状态 $s$ 出发、采取动作 $a$ 、其后遵循 $\pi$ 的期望回报）：

Q^{\pi}(s,a)=\mathbb{E}_{\pi}\left[G_{t}\mid s_{t}=s,a_{t}=a\right]

(3.3)

优势函数（动作 $a$ 相对于平均水平好多少）：

A^{\pi}(s,a)=Q^{\pi}(s,a)-V^{\pi}(s)

(3.4)

贝尔曼方程（递归关系）：

强化学习方法的分类

强化学习算法可以从多个维度进行分类。理解这一分类体系有助于针对特定问题选择合适的方法。

时序差分（Temporal Difference，TD）学习

TD 学习[347]采用自举（bootstrap）思想——它使用其他价值估计来更新价值估计，无需等待完整 episode 结束。

理解 TD 误差：以「惊讶」作为学习信号

TD 误差衡量智能体对未来奖励的当前估计与采取一步后新估计之间的差异。简单来说，就是智能体原本以为会发生的事，与实际发生的事加上对未来的新预期之间的差。它代表了智能体的「惊讶」。

TD 误差公式

\boxed{\delta_{t}=R_{t+1}+\gamma V(S_{t+1})-V(S_{t})}

(3.9)

$R_{t+1}$ ：采取动作后收到的即时奖励。
$\gamma V(S_{t+1})$ ：下一个状态的估计折扣价值（智能体预期从下一状态开始往后能获得的回报，按折扣因子 $\gamma$ 缩放）。
$V(S_{t})$ ：当前状态价值的原始估计。

合并后的项 $(R_{t+1}+\gamma V(S_{t+1}))$ 称为 TD 目标。因此：

\text{TD Error}=\text{TD Target}-\text{Old Estimate}

(3.10)

智能体如何使用 TD 误差

智能体调整其价值函数，使 TD 误差趋向于零：

\boxed{V(S_{t})\leftarrow V(S_{t})+\alpha\cdot\delta_{t}}

(3.11)

如果 $\delta_{t}>0$ ：结果好于预测 $\rightarrow$ 提高 $V(S_{t})$ ，使智能体趋向该状态。
如果 $\delta_{t}<0$ ：结果差于预测 $\rightarrow$ 降低 $V(S_{t})$ ，使智能体避开该状态。
如果 $\delta_{t}=0$ ：预测完全准确 $\rightarrow$ 无需更新（收敛）。

TD 目标： $y_{t}=r_{t}+\gamma V(s_{t+1})$ ——我们向其逼近的「更好估计」。

多步 TD（n 步回报）：

G_{t}^{(n)}=r_{t}+\gamma r_{t+1}+\cdots+\gamma^{n-1}r_{t+n-1}+\gamma^{n}V(s_{t+n})

(3.12)

Q-Learning

Q-Learning[373] 是基础的 off-policy、基于价值算法。它直接学习最优 $Q^{*}$ ，而不管当前遵循的是何种策略。

更新规则：

\boxed{Q(s_{t},a_{t})\leftarrow Q(s_{t},a_{t})+\alpha\left[r_{t}+\gamma\max_{a^{\prime}}Q(s_{t+1},a^{\prime})-Q(s_{t},a_{t})\right]}

(3.13)

SARSA[311]（on-policy 的替代方案）：使用实际采取的动作，而非取最大值：

Q(s_{t},a_{t})\leftarrow Q(s_{t},a_{t})+\alpha\left[r_{t}+\gamma Q(s_{t+1},a_{t+1})-Q(s_{t},a_{t})\right]

(3.14)

深度 Q 网络（DQN）[259]：用神经网络 $Q_{\theta}(s,a)$ 替换表格型 $Q(s,a)$ 。关键创新：经验回放缓冲区（off-policy 数据复用）、目标网络（稳定性）、 $\epsilon$ -greedy 探索。

DQN 损失函数：网络在从回放缓冲区采样的 mini-batch 上最小化 TD 误差的均方值：

\boxed{\mathcal{L}(\theta)=\mathbb{E}_{(s,a,r,s^{\prime})\sim\mathcal{B}}\!\left[\left(r+\gamma\max_{a^{\prime}}Q_{\bar{\theta}}(s^{\prime},a^{\prime})-Q_{\theta}(s,a)\right)^{2}\right]}

(3.15)

其中 $Q_{\bar{\theta}}$ 是目标网络—— $Q_{\theta}$ 的冻结副本，仅每 $C$ 步更新一次（例如 $C=10{,}000$ ）。这可以防止移动目标问题：若没有它，预测与目标会同时偏移，导致发散。

梯度更新：对 $\theta$ 求损失的梯度（注意：目标 $y$ 被视为常数——没有梯度流经 $\bar{\theta}$ ）：

\nabla_{\theta}\mathcal{L}=-\mathbb{E}\!\left[\underbrace{\left(r+\gamma\max_{a^{\prime}}Q_{\bar{\theta}}(s^{\prime},a^{\prime})-Q_{\theta}(s,a)\right)}_{\text{TD error }\delta}\;\nabla_{\theta}Q_{\theta}(s,a)\right]

(3.16)

\theta\leftarrow\theta-\alpha\cdot\delta\cdot\nabla_{\theta}Q_{\theta}(s,a)

(3.17)

学习方案（每个训练步）：

行动：通过 $\epsilon$ -greedy 选择动作：以概率 $\epsilon$ 采取随机动作，否则 $a=\arg\max_{a}Q_{\theta}(s,a)$ 。在前 100 万步内将 $\epsilon$ 从 1.0 $\rightarrow$ 0.01 退火。
存储：将转移 $(s,a,r,s^{\prime},d)$ 保存到回放缓冲区 $\mathcal{B}$ 中（容量 $\sim$ 1M）。
采样：从 $\mathcal{B}$ 中均匀抽取 32 条转移组成的 mini-batch。
计算目标： $y=r+\gamma(1-d)\max_{a^{\prime}}Q_{\bar{\theta}}(s^{\prime},a^{\prime})$ （若为终止状态，则未来价值为零）。
更新：对 $(y-Q_{\theta}(s,a))^{2}$ 执行梯度下降。将梯度裁剪到 $[-1,1]$ （Huber 损失变体）。
同步目标：每 $C$ 步复制 $\bar{\theta}\leftarrow\theta$ 。

理解重放缓冲区

回放缓冲区[220]（经验回放）是一种数据存储机制，用于保存过往经验，以便智能体日后从中重新学习。智能体不再在动作之后立即丢弃数据，而是将转移存入记忆库，并从中随机采样 mini-batch 进行训练。

存储内容：每条转移是一个元组：

e_{t}=(s_{t},a_{t},r_{t},s_{t+1},d_{t})

(3.18)

其中 $d_{t}$ 是表示 episode 是否结束的布尔标志。

import random
from collections import deque
 
class ReplayBuffer:
    def __init__(self, capacity):
        self.buffer = deque(maxlen=capacity)  # Bounded queue
 
    def push(self, state, action, reward, next_state, done):
        self.buffer.append((state, action, reward, next_state, done))
 
    def sample(self, batch_size):
        # Break correlation by selecting random experiences
        return random.sample(self.buffer, batch_size)
 
    def __len__(self):
        return len(self.buffer)

策略梯度方法——REINFORCE

与其学习价值函数再导出策略，不如直接优化策略参数 $\theta$ ，以最大化期望回报 [379]。

目标： $J(\theta)=\mathbb{E}_{\tau\sim\pi_{\theta}}[R(\tau)]=\mathbb{E}_{\pi_{\theta}}\left[\sum_{t=0}^{T}r_{t}\right]$

策略梯度定理：

\boxed{\nabla_{\theta}J(\theta)=\mathbb{E}_{\pi_{\theta}}\left[\sum_{t=0}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}|s_{t})\cdot G_{t}\right]}

(3.19)

REINFORCE 算法[379]（Williams，1992）：

在 $\pi_{\theta}$ 下采样完整轨迹 $\tau=(s_{0},a_{0},r_{0},s_{1},a_{1},r_{1},\ldots)$
计算每个时间步的回报 $G_{t}=\sum_{k=0}^{T-t}\gamma^{k}r_{t+k}$
更新： $\theta\leftarrow\theta+\alpha\sum_{t}\nabla_{\theta}\log\pi_{\theta}(a_{t}|s_{t})\cdot G_{t}$

使用基线降低方差：

\nabla_{\theta}J(\theta)=\mathbb{E}_{\pi_{\theta}}\left[\sum_{t=0}^{T}\nabla_{\theta}\log\pi_{\theta}(a_{t}|s_{t})\cdot(G_{t}-b(s_{t}))\right]

(3.20)

任何不依赖于 $a_{t}$ 的基线 $b(s_{t})$ 都能保持梯度无偏并降低方差。最佳选择： $b(s_{t})=V^{\pi}(s_{t})$ 。此时 $G_{t}-V(s_{t})\approx A^{\pi}(s_{t},a_{t})$ = 优势。

Actor-Critic 方法

将策略梯度（actor）与学习得到的价值函数（critic）结合，在保持策略优化灵活性的同时降低方差。

架构：

演员（actor） $\pi_{\theta}(a|s)$ ：即策略。负责提议动作。
评论家（critic） $V_{\phi}(s)$ 或 $Q_{\phi}(s,a)$ ：评估状态/动作的好坏。提供低方差的基线。

actor 更新（使用来自 critic 的优势）：

\nabla_{\theta}J=\mathbb{E}\left[\nabla_{\theta}\log\pi_{\theta}(a_{t}|s_{t})\cdot\hat{A}_{t}\right],\quad\hat{A}_{t}=r_{t}+\gamma V_{\phi}(s_{t+1})-V_{\phi}(s_{t})

(3.21)

critic 更新（最小化 TD 误差）：

\mathcal{L}_{\text{critic}}=\mathbb{E}\left[(r_{t}+\gamma V_{\phi}(s_{t+1})-V_{\phi}(s_{t}))^{2}\right]

(3.22)

广义优势估计（Generalized Advantage Estimation，GAE）

动机：Actor-Critic 框架需要优势 $A(s,a)=Q(s,a)-V(s)$ 的良好估计——这个动作比平均水平好多少？但这里存在一个根本性的张力：

1 步 TD 优势（ $r_{t}+\gamma V(s_{t+1})-V(s_{t})$ ）：方差低（只有一步随机性），但有偏——如果价值函数 $V$ 有误，优势估计会系统性偏离。
蒙特卡洛优势（ $G_{t}-V(s_{t})$ ）：无偏（使用实际回报），但方差高——众多随机奖励之和在不同 episode 之间剧烈波动。

GAE[318]（Schulman 等，2016）通过单个参数 $\lambda\in[0,1]$ 在这两个极端之间提供平滑插值。它对所有 $n$ 的 $n$ 步优势估计取指数加权平均，给出了在偏差与方差之间权衡的原则性方法。

核心思想：在每个时间步计算 1 步 TD 误差 $\delta_{t}$ ，然后用指数衰减权重 $(\gamma\lambda)^{l}$ 将它们混合——近期的 TD 误差获得全权重，久远的则被降权：

\boxed{\hat{A}_{t}^{\text{GAE}}=\sum_{l=0}^{T-t}(\gamma\lambda)^{l}\delta_{t+l},\quad\delta_{t}=r_{t}+\gamma V(s_{t+1})-V(s_{t})}

(3.23)

图 3.2：GAE 数据流：每个 TD 残差 δt+lV\delta_{t+l}^{V} 在求和前先按 (γλ)l(\gamma\lambda)^{l} 加权。λ\lambda 越高，纳入的未来残差越多（偏差更低、方差更高）。 — 图 3.2：GAE 数据流：每个 TD 残差 $\delta_{t+l}^{V}$ 在求和前先按 $(\gamma\lambda)^{l}$ 加权。 $\lambda$ 越高，纳入的未来残差越多（偏差更低、方差更高）。

GAE 中偏差与方差的直观映射

在监督学习中，偏差与方差源于模型的结构性假设。在通过 GAE 进行的强化学习中，它们源于你在多大程度上信任一个有缺陷的模型，相对于你在多大程度上信任一个混沌的环境：

偏差（系统性错位）：当估计器依赖于价值网络 $V_{\theta}$ 的结构性假设与不完美预测时产生。如果 $\theta$ 训练不足或容量不够，基线猜测会系统性出错。
方差（样本抖动）：当估计器依赖于长而不受约束的环境轨迹时产生。随机转移、随机种子与策略执行噪声在长时间跨度上累积，使经验样本奖励在不同 rollout 之间剧烈摆动。

架构光谱：边界情形分析

图 3.3：GAE 中的偏差与方差：λ\lambda 控制这一权衡。较小的 λ\lambda（左）通过自举带来高偏差/低方差；较大的 λ\lambda（右）使用完整蒙特卡洛回报带来低偏差/高方差。最优选择（λ∈[0.9,0.95]\lamb — 图 3.3：GAE 中的偏差与方差： $\lambda$ 控制这一权衡。较小的 $\lambda$ （左）通过自举带来高偏差/低方差；较大的 $\lambda$ （右）使用完整蒙特卡洛回报带来低偏差/高方差。最优选择（ $\lambda\in[0.9,0.95]$ ）在稳定训练与准确的长时间跨度信用分配之间取得平衡。

超参数 $\lambda$ 充当两种基本估计范式之间的调节标尺。

权衡矩阵

通过选择 $\lambda\in[0.95,0.99]$ ，GAE 最小化优势估计的总均方误差：

配置	统计特性	核心依赖	实践风险
$\lambda=0$	高偏差、低方差	模型参数（ $\theta$ ）	策略陷入次优局部极小值
$\lambda\in[0.95,0.99]$	平衡（最优 MSE）	混合加权	需要根据环境随机性进行调参
$\lambda=1$	低偏差、高方差	经验环境 rollout	破坏性梯度更新；训练爆炸

表 3.1：GAE 参数取值的操作层面对比。

调优 λ\lambda 的诊断方法

监控训练曲线可以直接洞察是偏差还是方差占主导：

高方差指标：策略熵急剧下降，同时价值函数的解释方差变得高度负向或剧烈波动 $\rightarrow$ 策略更新噪声很大。对策：降低 $\lambda$ 以使目标更新更平滑。
高偏差指标：智能体在早期训练稳定，但完全无法发现复杂的延迟奖励序列 $\rightarrow$ 因自举而低估了长时间跨度的依赖关系。对策：将 $\lambda$ 提高到更接近 $1.0$ ，使策略接触到真实的下游轨迹信号。

同策略 vs 异策略——详细对比

On-PolicyOff-Policy数据来源仅当前策略 $\pi_{\theta}$ 任意策略（回放缓冲区）更新之后旧数据失效，必须重新生成旧数据仍然可用样本效率低（数据只用一次）高（数据可反复使用）稳定性更稳定（分布一致）可能发散（分布不匹配）示例REINFORCE、PPO、A2C、GRPOQ-Learning、DQN、SAC、DPO对 LLM 而言PPO、GRPO（每步都重新生成）DPO（静态偏好数据集）

基于模型 vs 无模型

无模型基于模型学习内容直接学习策略 $\pi$ 和/或价值 $V$ / $Q$ 环境模型 $\hat{P}(s^{\prime}|s,a)$ 规划无规划，反应式决策可以模拟未来轨迹样本效率低（必须亲历一切）高（可以在想象中规划）准确性无模型偏差模型误差会累积适用场景动力学复杂/未知动力学简单、需要效率示例PPO、DQN、SAC [129]MuZero [316]、Dreamer [130]、AlphaGo [331]

奖励塑形（Reward Shaping）

奖励塑形[265] 是一种技术：开发者修改或补充环境原有的奖励函数。其主要目标是把稀疏奖励场景——智能体仅在任务最终完成时才收到反馈——转化为带有中间反馈信号的密集奖励场景，以加速收敛。

数学框架

设时间步 $t$ 的原始奖励为 $R_{t}(s,a,s^{\prime})$ 。塑形后的奖励加上一个辅助塑形函数 $F$ ：

\boxed{R^{\prime}_{t}(s,a,s^{\prime})=R_{t}(s,a,s^{\prime})+F(s,a,s^{\prime})}

(3.26)

基于势函数的奖励塑形（Potential-Based Reward Shaping，PBRS）

为了从数学上保证重塑不会改变最优策略，可采用基于势能的奖励塑形（Potential-Based Reward Shaping）。塑形函数 $F$ 被约束为标量势函数 $\Phi$ 在不同状态间的差值：

\boxed{F(s,a,s^{\prime})=\gamma\,\Phi(s^{\prime})-\Phi(s)}

(3.27)

其中 $\Phi:\mathcal{S}\to\mathbb{R}$ 是实值势函数，用于评估某个状态接近目标的理想程度； $\gamma$ 是折扣因子。

完整的 PBRS 奖励为：

R^{\prime}(s,a,s^{\prime})=R(s,a,s^{\prime})+\gamma\,\Phi(s^{\prime})-\Phi(s)

(3.28)