《The Hitchhiker's Guide to Agentic AI》中译本，按章节拆分为 31 篇
32 条
本书完整梳理了从 Transformer 基础、面向对齐的强化学习，到自主智能体系统构建的全过程。跨越各章节浮现出的关键主题如下：
本章汇总了关键公式、架构规格、API 参考以及失效模式诊断，便于开发与调试时快速查阅。
本章提供了一整套题目，用于检验和巩固你对本书所讲内容的理解。每道题目都瞄准一个关键概念、算法或系统设计决策——正是这种知识把表面熟悉与真正的专长区分开来。请将这些题目用于自我检验：先尝试自己作答，再阅读详细解答。…
随着大语言模型从被动的文本生成器演进为能够规划、调用工具并进行多步推理的主动 Agent，人类与之交互的界面也必须同步演化。传统聊天界面——为单轮或短上下文对话而设计——无法满足 Agent 化工作流的要求：长时间运行的任务、分支决策树、并行的工具调用，以及对有效人类监督的需求。…
从研究原型迁移到生产级 Agent 系统，是当前 AI 开发中最具挑战性的工程任务之一。…
人工智能的历史在很多方面就是一部规模演进史。早期 AI 系统是单体式的：单一程序、单一知识库、单一推理引擎。随着问题日益复杂，研究者发现，没有任何单一 Agent——无论能力多强——能够高效地处理一个丰富、开放式任务的方方面面。…
随着大语言模型从孤立的助手演化为由专业化智能体（Agent）组成的协作网络，Agent 之间如何对话这一问题已变得与它们内部如何推理同等重要。本节介绍那些使多智能体系统能够协调、委派并共同解决任何单个 Agent 都无法独立处理的问题的协议、模式与工程实践。
随着 Agent 从单体式的 prompt 加工具系统演化为模块化架构，一个关键的设计问题浮现出来：Agent 的能力应如何被组织、发现与组合？答案越来越收敛到 skill（技能）这一概念——一些离散、可复用的行为单元，可以在不重新训练的前提下被加载、组合与替换。
工具增强型语言模型的兴起带来了一个碎片化问题：每一个 Agent 框架、每一个 LLM 提供商、每一次企业部署都在发明自己的一套机制，用来把模型与外部工具和数据源连接起来。…
对话式语言模型的评估在原则上是直截了当的：给出一个 Prompt、收集一次回复，并依据参考答案或人工评判对其进行打分。智能体（Agent）评估则根本不同。智能体必须在世界中行动、观察后果，并在连续多步中调整自身行为。任何单次回复都无法刻画这一点；只有结构化的环境才能做到。
构建有效的 Agent 不仅需要强大的模型和一组工具。架构——即如何编排 LLM、如何分解任务、控制流如何在各组件间流动——决定了 Agent 是否可靠、可调试且具备成本效益。…
从业者与基于 LLM 的智能体（Agent）交互方式的演变，遵循了一条惊人一致的轨迹。2022–2024 年，首要技能是提示工程（prompt engineering）：精心组织措辞，以便从单次模型调用中引出想要的回答。…
现代基于 LLM 的智能体（Agent）并非孤立运行。在原始语言模型与其必须完成的现实任务之间，存在一层基础设施，负责管理记忆、路由工具调用、跟踪状态并强制实施安全约束。这层基础设施被称为 agent harness（智能体脚手架）。…
大语言模型本质上是无状态的函数近似器：给定 Prompt x，它们会产生续写分布 pθ(y∣x)。每一次推理调用都从零开始。上下文窗口（context window）——模型能够关注的有限 Token 序列——是生成时唯一可用的信息。…
检索增强生成（Retrieval-Augmented Generation, RAG）[209] 已成为在生产环境中部署大型语言模型时最具实际影响力的技术之一。…
之前的部分为我们配备了算法工具箱——如何训练、对齐 LLM 并使其具备推理能力。我们覆盖了 Transformer 架构与 GPU 系统（第一部分）、使模型与人类意图对齐的强化学习方法（第二部分）、由 RL 训练涌现出的推理能力（第三部分）以及评测方法（第四部分）。…
评估是任何严谨机器学习流水线的支柱，但它或许是大语言模型开发中最被低估的组成部分。与经典监督学习不同——在那里，带有真实标签的留出测试集能提供干净的信号——评估 LLM 需要应对开放式生成、主观质量判断、多步推理链，以及无处不在的基准污染风险。…
大型推理模型的出现是现代 AI 最重要的进展之一。与优化下一个 Token 预测的标准语言模型训练不同，面向推理的强化学习教会模型在回答之前先思考——在推理时分配额外算力以探索、验证并精炼中间步骤。本节系统地介绍支撑这一范式的方法、架构与扩展律。
现代 LLM 越来越多地被部署，不仅作为对话助手，而且作为自主智能体（Autonomous Agents），能够在多个步骤中与外部工具、API、数据库和环境进行交互。…
用基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）训练 LLM，既是一道算法题，也是一道系统工程题。…
监督微调（Supervised Fine-Tuning, SFT）是 RLHF 流水线的基础。SFT 模型的质量决定了 RL 所能达到的上限：RL 可以精炼和提升某种行为，但无法可靠地引入 SFT 模型中完全不存在的行为。本节涵盖高效 SFT 的关键技术。
奖励模型是连接人类偏好与 RL 训练信号的桥梁。训练良好的奖励模型对成功的基于人类反馈的强化学习（RLHF）至关重要；训练不佳的奖励模型会导致奖励作弊（reward hacking）与行为失准。本节涵盖奖励模型的理论基础、实用训练技术以及架构选择。
本章涵盖一类方法，它们以不同的目标函数、数据假设或架构权衡来扩展或替换 DPO。每种方法都针对标准 offline DPO 的某个具体局限：分布偏移（Online DPO）、需要配对数据（KTO）、对噪声标签过拟合（IPO）、参考模型显存开销（ORPO）或训练复杂度（Best-o…
组相对策略优化（Group Relative Policy Optimization, GRPO）[323] 是一种专为语言模型设计的强化学习算法，它消除了对独立评论家（critic）网络的需求。…
PPO 需要在显存中维持 4 个模型（policy、reference、reward 模型、value head）、复杂的 RL 基础设施，并且以不稳定著称。DPO [302] 提出的问题是：我们能否跳过 RL，直接从偏好中学习？
问题：朴素的策略梯度更新对步长没有任何约束。仅仅一次倒霉的 batch 就可能把策略推入一个生成垃圾文本的区域 → 垃圾文本获得低奖励 → 下一次梯度让情况更糟 → 不可挽回地崩溃。
监督微调（Supervised Fine-Tuning, SFT）教模型模仿示例，但模仿存在天花板：模型永远无法超越其训练数据的质量。强化学习突破了这一壁垒。…
强化学习（Reinforcement Learning，RL）是一种范式：智能体（Agent）通过与环境（environment）交互、接收作为反馈的奖励（reward），并优化其策略（policy）以最大化长期累积奖励来学习做出序贯决策[346]。…
现代大型语言模型几乎完全依赖 GPU（图形处理器，Graphics Processing Unit）进行训练和服务。理解 GPU 架构对于在并行策略、内存管理、内核优化和基础设施规模等方面做出明智决策至关重要。本节针对 LLM 工作负载，系统地介绍 GPU 硬件相关知识。
本部分覆盖大语言模型的基础架构，以及让训练和推理高效化的关键优化技术。内容按课程顺序组织：先介绍 Transformer 本身，然后讨论如何高效训练、如何低成本适配、如何压缩、如何扩展规模，以及如何加速推理。
《The Hitchhiker's Guide to Agentic AI》中译本前言：作者介绍、引言、设计理念与缩略语表。
《The Hitchhiker's Guide to Agentic AI》中译本的来源说明、独立声明、AI 使用披露与 CC BY-SA 4.0 许可说明。
