从后训练到实时感知：自进化智能体与多模态交互

引言
- 能力悖论
- 本文三幕
后训练：将能力烘焙进参数
自进化智能体：从经验中学习
实时感知与多模态交互
整合：现代智能体的全栈
最佳实践
常见问题
总结

引言

当今的 AI 智能体正处于一个拐点。同一个模型能够零样本编写生产级代码，却会在第一千个类似请求上重复完全相同的错误。同一个智能体能在周二完美地浏览网站，却忘了周一发现的那个变通方案。同一个语音助手能回答复杂问题，却在开口前经历 2 秒令人尴尬的沉默。

这些不是独立的问题——它们是同一个缺口的症状：智能体能解决任务，但尚不会学习、进化或实时响应。

能力悖论

当前基于 LLM 的智能体表现出我们所说的能力悖论：

智能体能零样本解决新任务，却无法从跨任务的经验中学习。

一个 Q-learning 智能体需要约 10,000 轮训练才能解决寻宝游戏。一个 LLM 智能体（Kimi K3）在第一次尝试中仅用 18 步就完成了——但在下一局规则略有不同的游戏中，它又从零开始。LLM 进行语义泛化；它不积累经验。

这个悖论有三个维度，分别由智能体技术栈的不同层来解决：

维度	问题	解决方案
能力	模型不会做 X	后训练（SFT、RL）
进化	智能体重复犯错	持续学习（双循环）
交互	智能体慢、仅支持文本	实时多模态架构

本文三幕

本文追溯从静态训练模型到自进化、实时多模态智能体的旅程：

Act 1: Train the Brain          (Post-Training)
        Bake capability into model parameters

Act 2: Let the Brain Evolve     (Continual Evolution)
        Learn from experience after deployment

Act 3: Let the Brain See & Speak (Real-Time Multimodal)
        Perceive and act in a continuous, multimodal world

每一幕都建立在前一幕之上。后训练给我们一个有能力的模型；持续进化让该模型不断改进；实时多模态架构让它能在人类实际生活的环境中运作——在对话中、在屏幕上、在物理空间里。

后训练：将能力烘焙进参数

任何智能体的基础都是其模型。核心公式：

1	Agent = LLM + Context + Tools

后训练关注的是 LLM 组件——如何通过参数更新让模型更好地使用上下文和工具。

三阶段流水线

现代 LLM 经历三个阶段，每个阶段有不同的目的：

阶段	数据	成本	目的
预训练	海量互联网文本	非常昂贵	通用知识与语言能力
SFT	标注的输入-输出对	便宜且快速	固化协议与格式
RL	带奖励的试错	昂贵且不稳定	发现可泛化的策略

SFT 在数学上与预训练完全相同——两者都最小化下一个 token 的预测损失。差异在于实践层面：SFT 使用输入-输出对（而非原始文本），并应用损失掩码（仅在响应 token 上计算梯度，而非提示词部分）。

关键顺序：

先形式，后精神。 SFT 必须在 RL 之前。

RL 需要模型产出可解析的输出以计算奖励。SFT 建立格式；RL 随后追求策略。例外是足够强的基座模型（如 DeepSeek-R1-Zero）可以跳过 SFT——但它们会产出格式不佳、语言混杂的输出。

SFT 记忆，RL 泛化

这是贯穿后训练的核心主线。区别不在于”哪个更好”——而在于它们各自做什么：

属性	SFT	RL
优化目标	标注答案的最大似然	期望奖励
行为	记忆训练示范	发现可迁移的策略
KL 模式	质量覆盖（分散概率）	模式寻优（集中在高奖励模式上）
上限	受限于训练数据	受限于任务本身
泛化	在 OOD 上退化	在 OOD 上提升

为什么 RL 有更高的上限——三个原因：

离线的上限是数据；在线的上限是任务。 SFT 只能教授示范中展示的内容。RL 能发现任何示范都不包含的策略。
验证比生成更容易（验证-生成不对称性）。检查正确性的奖励函数比必须产出正确答案的函数更简单。
在线学习在模型自身的轨迹上训练，避免了协变量偏移——训练状态与部署状态之间的不匹配。

具体证据（GeneralPoints 实验）： 一个算术卡牌游戏（类似”24 点”），包含规则和视觉变体：

方法	规则 OOD	视觉 OOD
SFT	-8.1%	-9.9%
RL	+3.5%	+17.6%

SFT 实际上会损害分布外性能。RL 则能提升它。

何时选择 SFT 还是 RL

一个实用的决策框架：

1. Is post-training needed at all?
   → Most agents don't need it. Harness engineering suffices.

2. If needed, try SFT first.
   → It's cheap, stable, and establishes format.

3. If SFT is insufficient, add RL (after SFT stabilizes format).
   → RL when you need generalization to unseen scenarios.

SFT 适用于： 格式固化、高质量示范、稳定的部署环境。

RL 在以下情况必要： 训练与部署之间存在分布偏移、需要发现最优策略、标注成本高。

实用检验标准： 当增加更多示范不再能提升新场景上的性能时，切换到 RL。

LoRA（Low-Rank Adaptation，低秩适配）是所有后训练的默认节省成本方法。关键设置：

使用场景	LoRA 秩	学习率
SFT	64–256	约为全量微调的 10 倍
RL	8–32（甚至 1）	约为全量微调的 10 倍

奖励设计：从标量到生成式

奖励设计是 RL 的艺术与工程交汇之处。设计空间有两个轴：密度（你多频繁地给予反馈）和表示形式（信号采取什么形式）。

密度谱系：

类型	何时可用	示例
二值	最终答案可检查	数学：正确/错误
稀疏	成功稀少且延迟	手机智能体：首次成功前 100+ 次失败
过程	每一步可评估	导航：+1 正确，-1 错误，-1.5 地标错误

表示形式的演进：

1 2	Scalar ──→ Semi-Scalar ──→ Vector ──→ Generative (0/1) (0/1 + reason) (multi-dim) (NL analysis with reasoning)

标量奖励：对于有明确正确答案的任务足够。
向量奖励：跨独立质量维度的多维评分。
生成式奖励模型：模型自动生成评估原则，逐条评估，系统检查准确性。DeepSeek 的生成式 RM 可以通过推理时扩展来提升。

关键规则： 训练数据必须与评估数据分离。SWE-bench → SWE-Gym，tau2-bench → 模仿学习数据，AndroidWorld → 课程学习。

RLVP：奖励结果，惩罚路径

一个关键洞察：结果中性的约束会被违反，因为违反往往会提高表面成功率。

示例：

联系已退订的用户 → 更高的联系率 → 看起来更成功
执行 rm -rf 清除失败的测试 → 测试通过 → 看起来像成功
编辑测试文件使其通过 → 通过 → 看起来像成功

问题在于：真实环境是不对称验证器——检测坏动作容易/便宜，但判断有意义的进展困难/昂贵。

RLVP 公式：

R = O + β × Φ

O  = outcome reward (did the task succeed?)
Φ  = path signal:
     -λ for violations (penalty)
     +μ for compliant actions (compliance reward)
β  = weighting factor

为什么这有效： GRPO 优势本质上是组内方差。纯结果奖励在极端情况下存在零方差死锁（全失败或全通过组获得零梯度）。惩罚总是能恢复方差。

惩罚的四条设计原则：

仅惩罚可验证的坏动作，绝不惩罚”缺乏进展”
结果奖励必须是主要驱动力（否则：不作为陷阱）
每个惩罚配对一个合规奖励
合规路径必须可达，惩罚目标必须不可博弈

结果（RLVP 实验）：

指标	之前	之后
违规次数	3.71	0.66（约减少 6 倍）
达到 90% 成功率所需迭代数	7.0	4.4
全失败组占比	65%	8%

数据和环境比算法更重要

贯穿后训练的第二条主线：

使用现成算法时，决定成败的是仿真环境保真度和训练数据质量。

优先级顺序：

1	Base Model > Environment > Data > Algorithm

这与许多人的假设相反。OpenAI 自己的探索路径（Algorithm > Environment > Prior）是错误的。真正的顺序是 Prior > Environment > Algorithm。

环境保真度至关重要：”失真的环境意味着死亡的策略。”构建高保真仿真环境往往比训练本身更难。

数据质量在三个维度上胜过算法：覆盖度、多样性、标注准确性。

SFT 将噪声直接烘焙进参数
RL 朝着奖励函数度量的任何方向优化（无论是否有偏）

拒绝采样是将标注准确性推到最高的标准技术：采样 k 个候选，验证，仅保留正确的，去重，然后在保留数据上做 SFT。

实践要点

对于大多数智能体应用，完全不需要后训练。编排工程——提示词、工具设计、上下文管理——就够了。

当确实需要后训练时：

先 SFT 以稳定格式和风格
仅在需要泛化到未见场景时才用 RL
投资数据和环境，再纠结算法
注入事实性知识用持续预训练或 RAG——不是 SFT（SFT 用于协议知识：_如何_做事，而非事实知识：_知道_什么）

与更广泛的智能体技术栈的协同：

组件	管理内容
RAG	事实
ICL	快速策略实验
程序	确定性约束
后训练	难以显式表达的能力

自进化智能体：从经验中学习

后训练在部署时给我们一个有能力的模型。但训练好的模型是一个静态制品——它不会从部署后的交互中学习。

本节解决的问题是：如何让智能体真正从经验中改进？

保存经验不等于学习

这是整篇文章中最重要的区分：

将轨迹存入记忆 ≠ 从经验中学习。

学习需要对证据进行主动评估、比较、泛化和验证。一个将每次对话保存到向量数据库的智能体保存了经验——但它没有学到任何东西。

考虑两者的区别：

类型	捕获内容	效果
用户记忆（第3章）	“用户和世界是什么样的”	帮助智能体记住更多
经验学习	“在什么条件下做什么”	帮助智能体变得更熟练

运行中的模型直接自我修改是危险的：生产环境很少提供干净的学习信号，未经验证的反馈会固化错误并放大提示注入。

工程方法：在模型周围构建一个学习系统——记录证据、验证结果、提取模式，然后在回归测试和安全检查之后更新知识/指令/程序/参数。

三层验证

任何学习系统的出发点是评估，而非总结。不知道哪里做得好或做错了，LLM 的反思只是猜测。

关键洞察：正确的结果不意味着正确的过程。

删除失败的测试使测试通过（结果正确，过程错误）
告诉用户等待产生暂时的满意（结果看起来正确，过程是回避）

三层验证结构：

┌─────────────────────────────────────┐
│  Quality Verifier                   │  ← Rubric-based: "Was it handled
│  (LLM + human rubric)               │     appropriately?"
├─────────────────────────────────────┤
│  Process Verifier                   │  ← Rule-based: "Was it completed
│  (business rules, permissions)      │     in an allowed manner?"
├─────────────────────────────────────┤
│  Outcome Verifier                   │  ← Code-based: "Was the task
│  (tests, DB states, tool returns)   │     actually completed?"
└─────────────────────────────────────┘

底层应依赖代码和环境真实状态。 只有难以形式化的方面才交给 LLM。

客服智能体的七个评估维度：

维度	检查内容
任务结果	智能体是否真正完成了任务？
规则遵从	是否遵循了业务规则？
隐私边界	是否泄露了敏感数据？
事实可靠性	声明是否准确？
承诺-行动一致性	声称执行的操作是否真正发生了？
表达质量	语言是否恰当？
合规替代方案	当方案 A 失败时，是否找到了合法选项？

承诺-行动一致性对智能体尤为重要：检查声称已完成的操作是否真正发生（例如，退款工具是否真的被调用了？）。

验证结果应该是结构化诊断，而非标量。维度信号保留了问题的性质和位置，便于下游有针对性地修复。

四种更新载体

更新方法的选择取决于目标能力是否能被某种媒介自然地表示：

载体	最适合	示例
经验知识库	事实、模式、例外	“50 美元以下的退款自动批准”
提示词与技能	可用自然语言表达的原则	“升级前始终先解释政策”
程序与编排	确定性过程、硬约束	浏览器工作流、重试逻辑、验证器
模型参数	高维感知、隐式策略	医学图像理解、语音韵律

这些不是替代方案——而是互补的通道。 同一个智能体同时使用四种，分别用于具有不同表征性质的能力。

能力可以随证据积累在载体间晋升：

1	New strategy → Experience doc → Knowledge → Skill → Tool code → Post-training

系统提示词学习（Karpathy 的术语）：当模式可以用自然语言清晰表达时，从”供参考的经验”提升为”必须遵循的规则”。与 RL 相比，它编辑文本而非通过梯度下降改变参数。就像给未来的自己留下一张明确的便条。

提示词修订应使用最小差异，而非重写整个提示词。从类似失败中生成最小差异，指定范围，检查冲突，针对边界案例和保留集进行评估。

将经验编码为程序： 当经验描述了稳定的、重复性的、可验证的操作时，编译为工作流/工具/编排代码。PreAct 系统在重复浏览器任务上实现了 8.5–13 倍加速，重放期间无需逐步 LLM 调用。

将经验编码到参数中： 像医学图像理解或去除”AI 感”这类能力难以压缩为规则或工作流——它们必须通过后训练进入模型参数。这就是第 7 章回连之处：生产轨迹成为训练数据。

双循环架构

持续进化的核心架构：

┌─────────── Online Execution Loop ───────────┐
│                                             │
│  Task → Agent → Trajectory → Evidence Log   │
│         ↑                      │            │
│         └── Current Version ───┘            │
│                                             │
│  Does NOT directly rewrite production       │
└──────────────────────┬──────────────────────┘
                       │ versioned experience
                       │ repository
┌──────────────────────▼──────────────────────┐
│           Offline Evolution Loop            │
│                                             │
│  Aggregate → Diagnose → Generate → Validate │
│             → Release (candidate only)      │
│                                             │
│  New version only after validation gates    │
└─────────────────────────────────────────────┘

在线循环： 完成任务并记录不可变证据。它不会直接修改生产智能体。

离线循环： 聚合轨迹、诊断根因、生成候选修改，仅在验证门控通过后发布新版本。

发布门控条件（四项必须全部通过）：

非空补丁
可追溯来源
在边界集上有可度量的改进
在保留集上无退化

通过后产出 release_to_canary，绝不直接覆盖生产环境。

Voyager 示例（Minecraft）： 三个相互联锁的机制：

组件	角色	没有它的后果
自动课程	提出下一个目标	随机游荡
技能库	将成功程序作为可组合代码	从零开始
迭代提示	将错误反馈到代码生成中	错误累积

结果：3.3 倍独特物品，2.3 倍行进距离，科技树里程碑最快 15.3 倍。

完成不等于进步

双循环架构最适合编码、工具使用和业务状态变更——具有快速、可验证反馈的任务。

对于开放式任务（研究、策略、设计），反馈是延迟且模糊的。Trehan 和 Chopra 的自主研究研究：4 次端到端尝试，3 次失败。三种失败模式：

失败模式	描述
实现偏移	智能体退回到熟悉的实现，该实现不再检验假设
认知过度乐观	系统开始解释噪声、修补方法、宣布发现，同时忽略失败
缺少隐性判断	智能体能运行实验但不知道哪个基线重要、该调查哪个异常、或何时放弃一个假设

补救措施：

分离主张与证据（Chain-of-Evidence）
保留负面结果
保持搜索多样性
将人类参与向上移动：问题定义、评估标准、异常结果、停止决策

持续进化的上限取决于系统能否评估它真正关心的东西，而非仅仅是最容易度量的代理指标。

持续进化的安全边界

三条不可违反的规则：

分离证据与指令。 不可信的网页/工具输出不得直接写入技能。写入应作为 PR 进行版本控制，由不同来源的 LLM 审查。
分离候选与生产能力。 新知识/提示词/技能/程序/参数先进入候选区。代码和依赖必须通过沙箱执行、权限审查、供应链扫描、行为测试。
安全机制不可自我修改。 智能体可以修改提示词、技能、知识和工具——但不能修改验证器、测试用例、发布阈值、审计日志或稳定版本备份。

睡眠学习——离线巩固循环：

1	Trigger → Orient → Collect & Consolidate → Validate & Approve → Prune & Index

在线智能体的唯一职责：完成任务 + 追加不可变证据。后台学习在空闲期间读取新经验，比较、合并、提议并验证。

实时感知与多模态交互

后训练给我们一个有能力的模型。持续进化让它不断改进。但两者都没有解决一个根本限制：智能体与一个连续的、多模态的、不耐烦的世界交互。

静态图像/文档理解已经成熟。本节探讨的是更难的一类问题，其中实时约束使多模态问题变得困难——语音对话、GUI 操作和机器人控制。

为什么实时性改变一切

所有三种实时场景共享两个问题：同时处理多种模态，以及对延迟极度敏感。

排队延迟公式：

1	Total Latency ≈ Idle Latency / (1 - Utilization)

在 50% 利用率时，延迟翻倍。在 80% 时，延迟是空闲时的 5 倍。这种非线性复合是串行流水线在负载下崩溃的原因。

语音：从级联到端到端再到全双工

语音的带宽约为打字的 4 倍，并解放双手和眼睛。架构经历了三种范式的演进：

范式 1：级联流水线

1
2
3

VAD ──→ ASR ──→ LLM ──→ TTS
500-800ms  50-200ms  100-500ms  200-500ms
                              Total: ~0.9–2s

模块化但缓慢，各阶段之间有信息丢失。VAD（Voice Activity Detection，语音活动检测）使用 500–800ms 的静音阈值来判断用户是否说完——但这个阈值是一个根本性瓶颈。

全链路流式处理（ASR 边听边转录，LLM 以句子块输出，TTS 在句子级别流式传输）将延迟压缩到 600–800ms，但无法触及 VAD 的静音等待。

VAD + ASR 的三个根本问题：

延迟累积：每个阶段都增加自己的延迟
信息丢失：情感、语调、犹豫被丢弃
准确性下降：上下文被分段破坏

范式 2：端到端全模态

单一模型直接聆听音频、思考并说话——合并三个阶段。非文本信息（韵律、情感）通过内部潜在空间保留。

属性	自级联	端到端
语义内容	匹配或超过 E2E	匹配自级联
非语言线索（韵律、情感）	丢失它们	保留它们

仍然假定了轮流对话。不是最终答案。

范式 3：全双工/交互式

模型同时聆听和说话。没有轮流假设。

模型	轮次切换延迟	关键创新
GPT-realtime-2.0	~1.18s	基于 VAD
TML-Interaction-Small	~0.40s	微轮次（~200ms），委托慢速思考
GPT-Live (2026)	全双工	委托给 GPT-5.5 进行深度推理

GPT-Live 引入了关键架构洞察：将实时交互与深度思考解耦。交互层持续处理；深度推理在后台模型中进行。

一行总结演进：

1 2	Cascaded ──→ End-to-End ──→ Full-Duplex (turn-taking) (turn-taking) (no turns)

计算机操作：感知-思考-行动循环

GUI 自动化智能体在一个循环中运作：

1	Screenshot ──→ Multimodal Model ──→ Action ──→ Wait ──→ Screenshot

三个关键设计维度：

1. 动作空间（Anthropic 的三种工具）：

工具	操作
GUI 操作	鼠标：移动、点击、拖拽、滚动；键盘：输入（12ms 间隔）、组合键、按住；感知：截图、光标、等待
命令执行	bash（120s 超时，持久会话）
文件编辑	字符串匹配、查看/创建/替换/插入/撤销

2. 视觉定位（三种方法）：

方法	工作原理	权衡
Set-of-Mark (SoM)	分割区域，叠加编号标记，模型选择一个编号	适用于任何界面；分割模型的开销
结构化元素索引	通过 CDP 从 DOM 中枚举可交互元素	可用时更精确；仅限网页
纯坐标预测	模型直接输出 x,y 坐标	简单；需要分辨率匹配

3. 智能体-计算机观察接口（AOI）：

对于动态屏幕（视频、通知、音频）：

帧间关键帧捕获（廉价像素门控 + 小模型）
音量门控语音转录（给智能体”耳朵”）
将观察转换为持久文本描述（在 8 个模型上获得 +17 到 +48 个百分点的提升，无需重新训练）

真正的瓶颈是效率，而非准确性。 智能体比人类需要更多步骤，且每步延迟随上下文增长而增加。实用的变通方案：快-慢解耦——快速模型用于语音，慢速模型用于计算机操作，通过”纯文本契约”（滚动状态摘要）通信。这产生 15 倍更快的语音响应（中位数 0.58s vs 8.64s），且任务成功率无损失。

机器人：VLA、动作分块与 Sim2Real

在机器人领域，动作有不可逆后果——一次碰撞可能损坏物体或机器人。

硬件不是瓶颈（对于视觉反馈的家用任务）。用 VR 头显遥操作一台 <1000 美元的机器人，在 100–200ms 延迟下运行顺畅。差距在于算法。

两层架构镜像了快-慢模式：

┌─────────────────────────────────┐
│  Slow: Long-Horizon Planning    │  "Clean the kitchen"
│  (decompose into sub-goals)     │  → wash dishes, wipe counter, sweep floor
├─────────────────────────────────┤
│  Fast: VLA Control              │  Execute specific operations
│  (Vision-Language-Action)       │  at 10–50Hz
└─────────────────────────────────┘

VLA——两种动作表示方法：

方法	方式	最适合
离散动作 Token（RT-2、OpenVLA）	离散化连续动作，自回归输出	简单任务、开源
连续轨迹（π₀）	流匹配：将随机噪声去噪为平滑轨迹	灵巧操作

动作分块（Action Chunking）： 模型每次推理生成一小段未来动作序列（例如，π₀ 在 50Hz 下生成 25–50 个动作）。控制线程以高频率重放，同时模型生成下一批。类似于视频缓冲。

1	Trade-off: Longer chunks = smoother but less responsive to sudden changes

SimpleVLA-RL 实验： 仅 SFT 在 LIBERO 上达到 17.3%；SFT+RL 达到 91.7%。RL 发现了”推切”动作——在人类示范中从未见过，比标准方法更高效。这是 RL 在动作空间中的泛化优势。

Sim2Real 迁移： 在仿真中训练，在现实中部署。两个关键工程步骤：

校准随机化范围——从真实数据测量，逐步扩大
视觉对齐——校准相机姿态，将真实背景拼接到仿真渲染中

统一主题：快-慢架构

快-慢架构出现在所有三种场景中——不是巧合，而是基本的设计模式：

场景	快速	慢速	接口
语音	实时交互	深度推理	后台模型委托
计算机操作	语音模型	VLM 用于操作	纯文本契约
机器人	VLA 控制（50Hz）	规划模型	子目标分解
游戏	反应器模型	策略师模型	潜在桥接

潜在桥接（Latent Bridge）： 冻结快速和慢速模型，仅训练它们之间的小型桥接（约数千万参数）。将慢速模型的隐藏状态结论投影为”潜在 token”，插入快速模型的输入中。在某些 Atari 游戏中提升 +26% 到 +82%，每步仅约 5ms 开销。

关键发现：桥接仅在慢速思考者真正优于快速反应者的地方才有收益（相关系数 r ~ 0.9）。在纯反应速度的任务中，桥接毫无用处。

思考架构张力的三种解决方案，不是线性递进而是设计权衡：

解决方案	策略	生产示例
快速填充，慢速回答	并行快速（保持回复）+ 慢速（完整答案）	标准聊天
快速交互，慢速策略师	慢速看快速输出，通过状态栏建议	GPT-Live, Pine AI
端到端统一	将思考内化到端到端模型中	Step-Audio R1

行业分歧：需要切换推理模型的前沿产品选择方案 2；追求极致自然度的产品选择方案 3。

整合：现代智能体的全栈

这三个章节不是独立的主题——它们是同一系统的各层：

┌─────────────────────────────────────────────────────────────────┐
│                    Real-Time Multimodal Layer                   │
│   Voice ◆ Computer Use ◆ Robotics                               │
│   ┌──────────────────────────────────────────────────────┐      │
│   │         Fast-Slow Architecture                       │      │
│   │   Fast: real-time interaction    Slow: deep reasoning│      │
│   └──────────────────────────────────────────────────────┘      │
├─────────────────────────────────────────────────────────────────┤
│                  Continual Evolution Layer                      │
│   ┌──────────────┐    ┌──────────────┐                          │
│   │ Online Loop  │───→│ Offline Loop │                          │
│   │ (execute &   │    │ (aggregate,  │                          │
│   │  record)     │    │  diagnose,   │                          │
│   │              │    │  validate,   │                          │
│   │              │    │  release)    │                          │
│   └──────────────┘    └──────────────┘                          │
│                                                                 │
│   Four Carriers: Knowledge | Instructions | Programs | Params   │
├─────────────────────────────────────────────────────────────────┤
│                  Post-Training Layer                            │
│   Pre-training → SFT → RL                                       │
│   "Form first, spirit second"                                   │
│   Priority: Base Model > Environment > Data > Algorithm         │
└─────────────────────────────────────────────────────────────────┘

各层如何连接：

后训练（第 7 章）产出初始的有能力模型。参数更新是四种更新载体之一。
持续进化（第 8 章）在部署后保持系统改进。它决定何时以及如何更新每种载体——包括当生产轨迹暴露能力差距时触发参数更新（回到第 7 章）。
实时多模态（第 9 章）提供交互界面和驱动持续进化的反馈信号。实时环境结果成为离线进化循环的验证证据。

关键反馈循环：

Real-time interaction
  → produces trajectories with verifiable outcomes
    → feeds the offline evolution loop
      → generates validated updates across four carriers
        → deploys new versions to the production agent
          → improved real-time interaction

最佳实践

后训练

先尝试编排工程。 大多数智能体根本不需要后训练。
SFT 先于 RL。 始终先稳定格式再追求策略。
投资数据质量，而非算法新颖性。 拒绝采样比从 PPO 切换到 GRPO 更有影响力。
用 RAG 处理事实，用 SFT 处理协议。 绝不要用 SFT 注入事实性知识。
先用小实验验证。 在测试关键假设之前不要投入大量计算资源。

持续进化

绝不让在线智能体直接重写生产环境。 所有更新都通过离线验证流水线。
使用结构化诊断，而非标量分数。 维度信号支持有针对性的修复。
从最小的修改目标开始。 相同的表面问题可能需要不同的根因修复。
监控五个长期结果： 回归、泛化、Token 效率、安全性、工程质量。
将安全机制保持在自我修改边界之外。 智能体可以修改其技能——但绝不能修改其验证器。

实时多模态

延迟非线性复合。 设计时预留 50% 利用率余量。
在质量重要时用流式感知替代 VAD+ASR。 信息丢失在级联流水线中不可恢复。
使用快-慢解耦。 不要让实时交互层等待深度推理。
对于计算机操作，可用时优先使用 SoM 或结构化索引而非原始坐标。
对于机器人，验证 Sim2Real——从真实数据校准随机化范围，验证视觉对齐。

常见问题

问：我需要为我的智能体后训练模型吗？

答：可能不需要。如果你的智能体使用现有的前沿模型（Claude、GPT-4 等），配合精心设计的提示词、工具和上下文，后训练不太可能具有成本效益。后训练在以下情况变得必要：（1）需要更小/更快的模型并具有特定能力，（2）需要与提示词能实现的行为有系统性差异，或（3）大规模部署时每 token 成本很重要。

问：在线自我修改安全吗？

答：不安全——没有防护栏的情况下不安全。运行中模型的直接自我修改是危险的，因为生产环境很少提供干净的学习信号，未经验证的反馈会固化错误。始终使用双循环架构：在线执行记录证据；离线进化验证并发布候选版本。

问：我应该使用哪种 RL 算法？

答：在大多数情况下，任何合理的算法都可以。优先级：基座模型 > 环境 > 数据 > 算法。实用指南：可靠的奖励 + 充足的计算资源 → GRPO（简单）或 PPO（更精细的信用分配）；高质量偏好数据 → DPO/KTO；早期探索 → Best-of-N。

问：我应该用端到端模型替换级联语音流水线吗？

答：取决于你的需求。如果你的任务主要依赖语义内容，自级联（ASR → LLM → TTS 配合流式处理）在更低成本下匹配或超过端到端。如果你的任务依赖非语言线索（韵律、情感、犹豫），端到端保留了级联会破坏的信息。如果你需要真正的对话流畅性（打断、回应信号），全双工是答案。

问：我怎么知道何时从 SFT 切换到 RL？

答：当增加更多示范不再能提升新的（分布外）场景上的性能时。SFT 的上限是训练数据；RL 的上限是任务本身。

问：持续进化中最大的陷阱是什么？

答：评估错误的东西。 持续进化的上限取决于系统能否评估它真正关心的东西，而非仅仅是最容易度量的代理指标。用户满意度分数很有诱惑力但不够充分——它们混淆了许多不同的失败模式，无法指导有针对性的改进。

问：动作分块如何工作，何时应该使用？

答：动作分块将推理延迟分摊到多个执行步骤上。模型在一次前向传播中生成一小段未来动作序列（例如 50Hz 下 25–50 个），控制线程以高频率重放它们。在以下情况使用：（1）推理延迟远高于控制频率要求，且（2）环境变化不够快，不会使计划动作失效。权衡：更长的块 = 更平滑但对突然变化的响应性更低。

总结

本文追溯了从静态训练模型到自进化、实时多模态智能体的三层旅程：

后训练——如何将能力烘焙进模型参数：

SFT 记忆（质量覆盖）；RL 泛化（模式寻优）
始终 SFT 先于 RL：先形式，后精神
数据和环境质量比算法选择更重要
大多数智能体根本不需要后训练——先做编排工程

自进化智能体——如何在部署后从经验中学习：

保存经验 ≠ 从经验中学习
三层验证：结果 → 过程 → 质量
四种更新载体：知识、指令、程序、参数
双循环架构：在线执行 + 离线进化
安全机制绝不可自我修改

实时多模态交互——如何在连续的、多模态的世界中运作：

语音：级联 → 端到端 → 全双工
计算机操作：感知-思考-行动循环，效率是真正的瓶颈
机器人：VLA + 动作分块 + Sim2Real
快-慢架构统一了所有三种场景

全栈作为反馈循环连接： 实时交互产生可验证的轨迹 → 离线进化验证并发布改进 → 改进后的智能体提供更好的实时交互。整个系统的上限取决于你能否评估你真正关心的东西——而非仅仅是最容易度量的代理指标。