CMU AI Agents
LovisMind · 阅读与思考CS 11-768 · Fall 2026
CMU AI Agents
十四讲讲透智能体：从模型、工具与循环组成的架构，到长上下文、记忆、规划、多智能体，再到编码、computer use、强化学习与安全。每章用自己的话重写讲座要点，并保留原始视频与论文链接。
目录
- 01什么是 AI Agent：把一个模型放进循环里中 / ENAgent 不是更大的模型，而是模型、工具、循环与环境组成的系统；可靠与否取决于脚手架工程与模型训练如何分工。
- 02工具调用：把语言模型接到外部世界中 / EN工具调用是 agent 的地基：从工具分类、代码即动作，到格式解析、约束解码、MCP 与并行调用，再到如何评估工具使用能力。
- 03长上下文：容量、效率与压缩中 / ENAgent 的上下文会随轮数迅速膨胀，必须同时解决模型能不能装下（容量）和系统能不能负担（效率）两个问题：混合注意力架构、KV 缓存与上下文压缩是三条主线。
- 04记忆与技能：把经验留在上下文之外中 / EN跨任务的经验可以写进外部存储：从事实记忆、轨迹检索，到从成功与失败中归纳可复用的文本或代码技能，并管理它们的生命周期。
- 05规划、任务分解与多智能体协作中 / EN计划是对未来动作的结构化表示；分解能带来并行、专用模型与人类监督，但会引入刚性与信息传递成本，关键在于何时重规划以及把计算花在思考还是行动上。
- 06编码 Agent：从会写代码到会改仓库中 / EN编码 agent 的能力由三层构成：代码预训练与中期训练、定位—编辑—验证的 agent 循环，以及能真实运行测试的评估环境；编辑格式与测试质量往往比模型本身更决定成败。
- 07计算机使用 Agent：像人一样操作图形界面中 / EN计算机使用 agent 直接看截图、点鼠标、敲键盘；这一讲梳理它的发展史、四类评估方式，以及预训练、模仿学习与强化学习的三段训练流程。
- 08Agent 的监督微调：把轨迹变成可训练的信号中 / ENSFT 是 agent 训练的冷启动：把完整轨迹渲染成一条 token 序列，只在助手 token 上计算损失，并用数据来源、过滤与混合策略决定模型能学到什么。
- 09强化学习基础：从策略梯度到 GRPO中 / ENSFT 有三个结构性缺陷，强化学习用采样轨迹与奖励直接优化期望回报来修复它们；本讲推导 REINFORCE，解释基线为何能降方差，并给出 GRPO 与 DR-GRPO 的简化形式。
- 10深度研究 Agent：复杂信息需求的检索、评估与训练中 / EN深度研究 agent 通过反复规划、检索与反思来回答没有单一答案来源的问题；本讲梳理其基准、评分细则评估、三段式训练，以及面向 agent 的检索基础。
- 11Agentic RL 的进阶算法：把稀疏奖励变成可学的信号中 / EN从信用分配、价值函数与 GAE，到异步训练的重要性采样与裁剪，再到奖励可靠性、辅助奖励与蒸馏，梳理 agentic RL 常见故障及其算法解法。
- 12RL 系统：推理引擎与训练引擎为什么必须分开中 / EN从核心原语、KV 缓存与连续批处理、激活检查点与并行策略，到权重同步、token 级数据传输、异步训练与服务化架构，拆解 agentic RL 的系统工程。
- 13Agent 安全：威胁模型、沙箱、凭据与监控中 / EN从真实事故出发建立四类威胁模型，再逐层讨论红队与安全训练、沙箱设计、凭据代理、监控与评测，说明安全为什么是一种能力。
- 14从 OpenHands 学到的：单 agent、技能、界面与自动化中 / EN一个真实编码 agent 产品的工程复盘：SDK 设计、压缩与沙箱、单 agent 对多 agent、技能与 MCP、本地与云端、四种交互界面，以及把重复流程变成可训练系统。