第 9 章奖励模型训练

奖励模型是连接人类偏好与 RL 训练信号的桥梁。训练良好的奖励模型对成功的基于人类反馈的强化学习（RLHF）至关重要；训练不佳的奖励模型会导致奖励作弊（reward hacking）与行为失准。本节涵盖奖励模型的理论基础、实用训练技术以及架构选择。

Bradley-Terry 模型——完整推导

Bradley-Terry 模型 [29] 是成对偏好学习（pairwise preference learning）的标准概率框架。给定 prompt $q$ 的两个回答 $y_{1}$ 和 $y_{2}$ ，该模型假设：

P(y_{1}\succ y_{2}\mid q)=\sigma(r(y_{1},q)-r(y_{2},q))=\frac{e^{r(y_{1},q)}}{e^{r(y_{1},q)}+e^{r(y_{2},q)}},

其中 $r:\mathcal{Y}\times\mathcal{Q}\to\mathbb{R}$ 是标量 Reward 函数， $\sigma$ 是 sigmoid 函数。

给定由偏好对组成的数据集 $\mathcal{D}=\{(q^{(k)},y_{w}^{(k)},y_{l}^{(k)})\}_{k=1}^{N}$ ，MLE 目标为：

\mathcal{L}_{\text{BT}}(\phi)=-\frac{1}{N}\sum_{k=1}^{N}\log\sigma\!\bigl(r_{\phi}(y_{w}^{(k)},q^{(k)})-r_{\phi}(y_{l}^{(k)},q^{(k)})\bigr),

其中 $r_{\phi}$ 是由 $\phi$ 参数化的神经网络。这是一个二元交叉熵 Loss，其中「正」类别对应偏好的回答。

一种常见的扩展是引入 margin $m$ ，以确保胜出与落败的 Reward 之间存在最小间隔：

\mathcal{L}_{\text{margin}}=-\frac{1}{N}\sum_{k=1}^{N}\log\sigma\!\bigl(r_{\phi}(y_{w}^{(k)},q^{(k)})-r_{\phi}(y_{l}^{(k)},q^{(k)})-m\bigr).

奖励模型架构

该架构由以下部分组成：

骨干网络（Backbone）：一个预训练 LLM（例如 Llama、Mistral），将 prompt-response 对编码为一系列隐藏状态。
池化（Pooling）：提取最后一个 Token 位置的隐藏状态（对于 decoder-only 模型）或 [CLS] Token（对于 encoder 模型）。
回归头（Regression head）：线性层 $W\in\mathbb{R}^{d\times 1}$ ，将池化后的隐藏状态映射为标量 Reward。

奖励模型训练技巧

原始奖励模型的输出可能具有任意尺度和偏移。对 Reward 进行中心化（减去均值）可以稳定 RL 训练：

r_{\text{centered}}(y,q)=r_{\phi}(y,q)-\mathbb{E}_{y^{\prime}\sim\pi_{\theta}}[r_{\phi}(y^{\prime},q)].

在 TRL 中，这通过 center_rewards_coefficient 参数实现，它会向奖励模型 Loss 中添加一个正则项，惩罚均值非零的 Reward。

已知奖励模型会表现出长度偏差：无论质量如何，它们倾向于给较长的回答分配更高的 Reward。可通过以下方式校正：

长度归一化（Length normalisation）：将 Reward 除以回答长度。
长度受控训练（Length-controlled training）：将长度作为特征，训练模型使其对长度不变。
校准（Calibration）：事后回归以剔除长度效应。

在 Bradley-Terry Loss 中加入 margin $m$ ，可确保奖励模型对偏好回答与非偏好回答打出具有显著区分度的分数：

\mathcal{L}_{\text{margin}}=\max\!\bigl(0,\;m-(r_{w}-r_{l})\bigr).

过程奖励模型 vs 结果奖励模型

步骤级标注可以通过以下方式自动生成：

Monte Carlo rollout：对每个中间步骤采样多个补全，将达到正确答案的比例作为该步骤的 Reward。
LLM 作为评判者（LLM-as-judge）：使用强 LLM 评估每一步。
形式化验证：对于数学/代码，使用验证器检查每一步。

RLVR 中基于规则的 Reward

基于可验证奖励的强化学习（Reinforcement Learning from Verifiable Rewards, RLVR）使用确定性的、基于规则的奖励函数，而不是学习得到的奖励模型。这大幅减少了奖励作弊（尽管模型仍可能利用格式技巧、边界情况或测试记忆），也是 DeepSeek-R1 [69] 采用的方法。

多目标 Reward ——组合策略

当使用多个奖励信号进行训练时，组合策略会显著影响最终策略。

基于列表排序的 Reward

Bradley-Terry 模型处理的是成对偏好（ $y_{w}\succ y_{l}$ ），但许多实际场景需要同时对多个回答进行排序。列表式（listwise）奖励模型从完整排序中学习，能提供更丰富的训练信号并实现更好的校准。

Plackett-Luce（PL）模型 [291] 是 Bradley-Terry 模型向完整排序的标准扩展。给定 $K$ 个回答 $y_{1},\ldots,y_{K}$ 及其排序 $\pi$ （其中 $\pi(1)$ 为最优）：