第 29 章速查手册

本章汇总了关键公式、架构规格、API 参考以及失效模式诊断，便于开发与调试时快速查阅。

核心 RL 与对齐公式

Transformer 与架构公式

解码方法

方法公式 / 规则关键参数Greedy $y_{t}=\arg\max_{v}P(v|y_{<t})$ —Beam search按联合概率保留 top- $B$ 个部分序列 $B=4$ – $8$ Temperature $P^{\prime}(v)=\text{softmax}(\text{logit}_{v}/T)$ $T\in[0.1,1.5]$ Top- $k$ 仅保留 top- $k$ 个 logit，其余置零后重新归一化 $k=40$ – $100$ Top- $p$ (nucleus)保留最小集合 $V^{\prime}$ ，使得 $\sum_{v\in V^{\prime}}P(v)\geq p$ $p=0.9$ – $0.95$ Min- $p$ 保留满足 $P(v)\geq p_{\text{min}}\cdot P(v_{\text{max}})$ 的 token $p_{\text{min}}=0.05$ – $0.1$ Repetition penalty若 $v$ 已出现过，则 $\text{logit}_{v}\leftarrow\text{logit}_{v}/\theta$ $\theta=1.1$ – $1.3$

系统与并行

公式取值 (70B, BF16)说明模型显存 $2P$ 字节 $140$ GB（仅权重）Adam 优化器 $2P\times 4$ 字节 (m + v) $280$ GB完整训练占用 $\sim 8P$ 字节 $560$ GB（权重 + 优化器 + 梯度）FSDP 每 GPU 显存 $8P/N_{\text{GPUs}}$ 8 卡时为 $70$ GB生成算术强度 $2P/2P=1$ FLOP/byte严重内存瓶颈Token 速率（生成）HBM_BW $/(2P)$ $\sim$ 14 tok/s (A100, batch=1)TP AllReduce / 层 $2\times 2\cdot\frac{T-1}{T}\cdot bsd$ 字节 $\sim$ 188 MB (70B, TP=8)PP 气泡占比 $(P-1)/(P+M-1)$ $P$ = 阶段数， $M$ = 微批数MFUobserved_toks $\times$ 6 $P$ / peak_FLOPS目标： $>40\%$

GPU 硬件规格

GPU显存带宽 (HBM)BF16 TFLOPSNVLink备注A100-80GB80 GB HBM2e2.0 TB/s312600 GB/s主力型号，广泛可用H100-80GB80 GB HBM33.35 TB/s989900 GB/s当前一代，支持 FP8H200-141GB141 GB HBM3e4.8 TB/s989900 GB/s大上下文 / 更少 GPUB200192 GB HBM3e8.0 TB/s22501800 GB/s下一代（2025）

超参数范围

参数典型范围默认值说明 $\beta$ (DPO/KTO)0.05–0.50.1越大越保守 $\epsilon$ (PPO clip)0.1–0.30.2越大更新越激进 $\gamma$ (GAE 折扣)0.99–1.01.0情景式任务使用 1.0 $\lambda$ (GAE)0.9–0.990.95越小偏差越大、方差越小KL 系数 ( $\beta_{\text{KL}}$ )0.01–0.20.05自适应目标 KL $\approx$ 5–8学习率 (RLHF)1e-7 – 5e-65e-7远低于预训练学习率 (SFT)1e-5 – 5e-52e-5标准微调范围LoRA 秩 $r$ 8–12816–64 $r$ 越大，容量越大、显存越多LoRA alpha $\alpha$ $r$ – $2r$ $2r$ 缩放因子； $\alpha/r$ 为有效尺度温度（生成）0.6–1.00.7越低候选越同质生成数量 $K$ 4–644–16用于 GRPO / Online DPO / Best-of-N梯度裁剪范数0.5–2.01.0防止梯度爆炸

TRL API 速查

Trainer方法关键配置数据格式SFTTrainer监督微调（SFT）packing, max_seq_lengthprompt + completionRewardTrainer奖励模型center_rewards_coefficientprompt + chosen + rejectedPPOTrainerPPOinit_kl_coef, target_kl, cliprangeprompts (online gen)DPOTrainerDPO/IPObeta, loss_type="sigmoid"/"ipo"prompt + chosen + rejectedGRPOTrainerGRPOnum_generations, beta, use_vllmprompts + reward_fnOnlineDPOTrainerOnline DPOnum_generations, reward_model_pathprompts (online gen)KTOTrainerKTOdesirable_weight, undesirable_weightprompt + completion + labelORPOTrainerORPObetaprompt + chosen + rejectedBest-of-N (manual)Best-of-Nn_samplesprompts (inference)

RAG 流水线公式

智能体设计模式

模式结构适用场景ReAct思考 $\to$ 行动 $\to$ 观察 $\to$ 循环通用工具使用型智能体Plan-and-Execute计划 $\to$ 执行步骤 $\to$ 修订长时程、结构化任务主管（Supervisor）路由器 $\to$ 专家智能体多领域、子任务边界清晰蜂群（Swarm，交接）智能体转移控制权 + 上下文客户服务、升级流程层级式（Hierarchical）委派式智能体树复杂任务分解Human-in-the-loop智能体 $\to$ 审批门控 $\to$ 继续高风险、不可逆操作

智能体通信协议

协议范围传输方式关键概念MCP（模型上下文协议）工具集成stdio / HTTP+SSE服务端暴露工具；客户端发现并调用A2A智能体到智能体HTTP + JSON-RPC任务具有生命周期（submitted $\to$ working $\to$ done）OpenAI Function Calling工具使用API 载荷tools[] 数组中的 JSON schema

上下文窗口预算

C\geq\underbrace{S}_{\text{system}}+\underbrace{M}_{\text{memory/RAG}}+\underbrace{T}_{\text{tool defs}}+\underbrace{H}_{\text{history}}+\underbrace{R}_{\text{reserved output}}

(29.22)

经验法则（针对 128K 上下文）：

系统提示：1–4K tokens（固定）
工具定义：2–8K（随工具数量增长）
RAG 上下文：4–16K（top- $k$ 个分块）
历史记录：无界增长 $\rightarrow$ 摘要/截断
预留输出：2–8K

常见失效模式与修复

症状可能原因修复奖励上升，质量下降奖励作弊RM 集成、长度惩罚、提高 $\beta$ KL 爆炸（ $>$ 15）学习率过高或模式崩溃降低学习率、回滚检查点熵崩溃过早收敛提高熵系数、提高温度训练损失 NaN梯度爆炸降低学习率、增大梯度裁剪、检查数据训练 5K 步后无提升prompt 分布不佳Goldilocks 过滤（通过率 20–80%）基准回退对齐税减少 RL 预算、使用 LoRA、混入 SFT 数据长度单调增长RM 中的长度利用长度惩罚、用长度控制重新训练 RM生成期间 OOMKV cache 溢出减小 batch、增大 TP、PagedAttention智能体无限循环缺少最大迭代次数护栏设置 max_iterations，添加循环检测工具调用解析失败输出格式不一致Few-shot 示例、受约束解码RAG 返回无关文档Embedding / 分块不佳重排序器、混合检索、更小的分块多智能体死锁循环依赖强制 DAG、为每个智能体设置超时

方法选择决策树

有成对的偏好数据（chosen + rejected）？•标签有噪声 $\rightarrow$ IPO•显存受限，尚未做 SFT $\rightarrow$ ORPO•数据干净、算力有限 $\rightarrow$ DPO•DPO 出现平台期，需要探索 $\rightarrow$ Online DPO
只有二元反馈（赞/踩）？ $\rightarrow$ KTO
有可验证的奖励（数学/代码）？ $\rightarrow$ GRPO
需要最高质量，不计成本？ $\rightarrow$ PPO
想要免训练的提升？ $\rightarrow$ Best-of-N

评估指标

指标范围衡量内容困惑度（Perplexity） $[1,\infty)$ 模型的惊讶程度；越低表示语言建模越好胜率（相对于基线） $[0,1]$ 被评判器/人类偏好的输出占比BLEU $[0,1]$ 与参考译文的 $n$ -gram 重叠（偏重精确率）ROUGE-L $[0,1]$ 与参考译文的最长公共子序列Pass@ $k$ $[0,1]$ $k$ 个代码样本中 $\geq$ 1 个通过测试的概率MMLU / GPQA $[0,1]$ 知识与推理基准上的多选准确率HumanEval $[0,1]$ 生成代码的功能正确性忠实性（RAG） $[0,1]$ 被检索上下文支撑的论断占比上下文相关性 $[0,1]$ 检索到的内容中与查询相关的占比答案相关性 $[0,1]$ 答案切合问题的程度

推理与测试时扩展

方法计算开销机制思维链（CoT）1.5–3 $\times$ tokens在 prompt 中写「Think step by step」自洽性（Self-Consistency） $N\times$ 次生成采样 $N$ 条 CoT 路径，对最终答案多数投票思维树（ToT） $B\times D\times$ 次生成在推理树上做 BFS/DFS；评估各分支Best-of- $N$ $N\times$ 次生成采样 $N$ 个，用 RM 打分，取最高分束搜索（用于推理） $B\times$ 次生成保留 top- $B$ 条部分推理链预算强制可变动态为更难的问题分配更多 token验证（ORM/PRM） $N\times$ 次生成 + 打分生成 $N$ 个解，按结果/过程 RM 排序

记忆系统类型

类型存储使用场景工作记忆上下文窗口当前对话、即时的工具结果情景记忆（Episodic memory）向量存储过往交互、用户偏好、会话历史语义记忆知识图谱 / Embedding事实、概念、领域知识程序性记忆技能库 / 代码操作步骤、习得的工作流

MCP 速查

原语方向是否有副作用？用途工具客户端 $\to$ 服务端是执行操作（创建、修改、删除）资源客户端 $\to$ 服务端否（只读）读取数据（文件、数据库记录、配置）Prompts客户端 $\to$ 服务端否常见任务的可复用模板采样服务端 $\to$ 客户端否服务端请求客户端进行 LLM 生成

传输方式：stdio（本地子进程）或 HTTP+SSE（远程、可流式）。

能力发现：客户端在连接初始化时调用 tools/list、resources/list、prompts/list。

工具注解：readOnlyHint、destructiveHint、idempotentHint、openWorldHint。

A2A 协议速查

概念描述Agent Card位于 /.well-known/agent.json 的 JSON——名称、技能、支持的内容类型任务工作单元：id、status、artifacts。生命周期：submitted $\to$ working $\to$ completed/failed消息任务内的通信单元（role：user/agent，parts：text/file/data）产物智能体产生的输出（结构化数据、文件、生成内容）推送通知面向长时运行任务的基于 Webhook 的更新（通过 tasks/pushNotification/set）

关键端点：tasks/send（创建/更新）、tasks/get（轮询状态）、tasks/sendSubscribe（SSE 流）。

智能体框架对比

框架编排多智能体适用场景LangGraph显式状态图条件路由生产环境：持久化、HITL、精细控制OpenAI Agents SDK声明式交接基于交接简洁性：护栏、追踪、快速上手AutoGen (AG2)对话驱动GroupChat原型开发：代码执行、研究CrewAI基于角色的团队顺序/并行低代码：快速演示、简单流水线Google ADK会话 + 事件原生 A2A企业级：产物管理、多模态

智能体 RL 公式

智能体安全检查清单

威胁层次缓解措施Prompt 注入（直接）输入输入校验、指令层级、分隔符Prompt 注入（间接）工具输出将工具输出视为不可信；不要执行检索文档中的指令工具误用执行最小权限；destructiveHint 门控；沙箱化数据外泄输出输出过滤；将工具访问限制在允许的域名内过度自主架构最大迭代次数；成本预算；人工审批门控混淆代理多智能体验证任务来源；基于能力的访问控制

智能体评估指标

指标公式 / 定义目标任务成功率 (TSR)正确完成数 / 总任务数 $>85\%$ （生产环境）完成所需步数每个成功任务的平均智能体动作数越低越高效单任务成本总 token 数 $\times$ 每 token 价格取决于预算延迟 (TTFC)从请求到首个有用输出的时间交互场景 $<5$ s工具调用准确率正确的工具选择数 / 总调用数 $>90\%$ 恢复率成功重试数 / 初始失败数 $>60\%$ 人工升级率需要人工的任务数 / 总任务数 $<15\%$

关键智能体基准

基准领域指标SOTA (2025)SWE-bench Verified软件工程已解决问题占比 $\sim$ 70%WebArena网页浏览任务成功率 $\sim$ 40%OSWorld桌面计算机操作任务成功率 $\sim$ 25%GAIA通用 AI 助手精确匹配准确率 $\sim$ 75% (L1)Tau-bench工具使用可靠性通过率（5 次试验） $\sim$ 65%HumanEval / MBPP代码生成Pass@1 $>95\%$