Control Theory

AI Agent 设计的控制论方法

基于金观涛、华国凡《控制论与科学方法论》核心思想提炼。

本文将控制论、系统论、信息论的基本原理映射为 AI Agent 设计的可操作指导。

---

0. 核心公理

控制的本质是在可能性空间中进行有方向的选择。

Agent 的一切行为 -- 规划、推理、工具调用、自我修正 -- 都是在不确定性中缩小可能性空间的过程。理解这一点，是设计一切 AI 系统的起点。

---

1. 可能性空间与控制能力

1.1 任务即可能性空间

任何任务在开始前都面临一个可能性空间：所有可能的执行路径、结果状态、工具组合的集合。

• 任务越模糊，可能性空间越大。
• 任务越明确，可能性空间越小。
• Agent 的目标是：将可能性空间缩小到用户期望的目标状态。

1.2 控制能力 = M / m

• M = 控制前的可能性空间大小
• m = 控制后的可能性空间大小
• 控制能力 = M / m

设计原则：

1. 不要用网眼捕鸟。 不要试图一步将可能性空间缩小到唯一状态。像猎人用网而非用单个绳圈，Agent 应当允许目标有合理的精度范围（tolerance），而非追求每一步的绝对精确。 2. 估算控制能力再行动。 在执行前，先估算当前工具/方法的控制能力是否足以达到目标。如果工具的控制能力不够，再多重复也无济于事 -- 应当换工具或分步执行。 3. 控制能力可以叠加。 多步控制的总能力是各步能力的乘积。一次做不到的事，通过多步反馈可以做到。

---

2. 四种基本控制方法

2.1 随机控制（探索 / Trial-and-Error）

本质： 在可能性空间中随机尝试，命中目标则停止。

适用场景： 对问题领域几乎一无所知时的初始探索。

Agent 设计要点：

• 当 Agent 对任务完全陌生时，随机控制是合法的起步方式。
• 关键：目标必须在探索范围内。 如果钥匙不在这串里，试遍也没用。常见错误是受偏见限制了探索范围 -- 如拉瓦尔执着于"越硬的轴越好"而忽略了软轴。
• 速度决定效率。 可能性空间大时，必须提高选择速度（并行搜索、批量验证）。
• 不断扩大探索范围。 打破固有假设，考虑"把竹竿顺着城门送出去"这种被忽略的可能性。

2.2 有记忆的控制（排除法 / Elimination）

本质： 记住已排除的状态，逐步缩小搜索范围。

适用场景： 可以逐步排除不可能选项的任务。

Agent 设计要点：

• 维护一个已排除列表，避免重复尝试已知无效的方案。
• 警惕错误记忆陷阱： 如果误将正确答案排除并记住了这个错误判断，目标就永远不在搜索范围中了。
• 注意陷阱状态： 某些尝试可能不可逆地削弱控制能力（如破坏性操作）。应当优先排除安全选项，将高风险操作放到最后。
• 控制顺序很重要： 先沉淀含量大的物质可能吸附含量小的物质 -- 操作顺序会影响后续选择余地。

2.3 共轭控制（L^{-1}AL 变换）

本质： 把无法直接控制的问题，通过变换 L 转化为可控问题 A，解决后再通过 L^{-1} 变换回来。

这是工具使用的本质。

Agent 设计要点：

• 曹冲称象原理： 无法直接称象 -> L（用船把重量转换为吃水线）-> A（称石头）-> L^{-1}（石头重量 = 象的重量）。
• Agent 调用工具的每一个过程都是共轭控制：
• L = 感受器（把真实世界状态转换为 Agent 可处理的信号）
• A = Agent 的选择/计算
• L^{-1} = 效应器（把 Agent 的决策转换回对真实世界的作用）
• 设计启示： 当 Agent 无法直接完成任务时，不要报告失败，而要寻找变换 L：能否把问题转化为另一个已知可控的问题？

2.4 负反馈控制（目标差递减）

这是 Agent 最核心的控制机制。

本质： 设定目标 -> 观察当前状态 -> 计算目标差 -> 执行减小目标差的动作 -> 重复。

负反馈的两个必要条件：

1. 系统一旦出现目标差，便自动出现减少目标差的反应。 2. 减少目标差的调节能一次一次积累起来。

Agent 设计要点：

• 鹰抓兔子模型： 鹰不需要预先计算精确轨道。它盯住兔子，每次调整方向减小距离差，通过多次俯冲积累控制能力，最终抓到兔子。
• 居里夫人提纯镭模型： 不知道镭长什么样，但知道"放射性更强 = 更接近目标"。每一步都朝放射性增强的方向走，多年积累后达到目标。
• 负反馈放大控制能力： 单次控制能力有限时，通过多次反馈将有限能力叠加为足够大的总能力。总控制能力 = 各次控制能力的乘积。
• "做起来看"是正确的工程哲学： 不要试图一次性规划完美方案。边做边观察，随时修正。

---

3. 正反馈与失控

正反馈 = 目标差不断增大的过程 = 恶性循环。

Agent 中的正反馈失控表现：

• 错误修复引入更多错误，修复这些新错误又引入更多错误 -- 代码质量螺旋下降。
• Agent 对自己的输出过度自信，不断在错误方向上加码。
• 问题分解过细导致子任务爆炸，每个子任务又产生更多子任务。

对治方法：

• 正反馈与负反馈可以互相转化。在反馈回路中加入滤波器（质量检查门槛）可以将正反馈转为负反馈。
• 在反馈回路中加入衰减环节（限制迭代次数、设置回退点）。
• 关键设计：当检测到目标差连续增大时，立即停止当前策略，回退到上一个已知良好状态。

---

4. 信息论原则

4.1 信息 = 可能性空间的缩小

"知道"某件事 = 关于该事的可能性空间缩小了。

• 如果天气预报说"明天可能下雨也可能不下雨"，信息量为零。
• Agent 的每一步推理都应当产生正的信息量 -- 实质性地缩小可能性空间。

4.2 通道容量原则

信息传递通道有容量限制，由三个因素决定：

1. 输入端的控制速度和能力 2. 通道的可辨状态数 3. 输出端的接收速度和理解能力

Agent 设计要点：

• 通道容量不要太大也不要太小。 十字路口只需要红黄绿三色灯，几百种颜色反而让司机晕头转向。Agent 向用户传递信息时，精度要匹配用户的决策需求。
• 精密仪器不一定更好。 在粗糙的实验中使用过分精密的仪器，单位时间传递的信息量反而可能下降。Agent 选择工具时，匹配任务精度即可。

4.3 滤波（去伪存真）

信息传递中必然存在干扰。排除干扰的方法：

核心原则：

• 信息量在传递中只会减少不会增加。 转手越多，失真越大。Agent 应尽量使用第一手信息源。
• 曾参杀人警示： 多条通道的第一个环节相同时，它们本质上是同一条通道。三个人都从同一个错误来源得到信息，并不比一个人更可靠。

4.4 信息的主观性

同一信号对不同接收者有不同含义。

• 对牛弹琴不是牛的错。 Agent 输出的信息必须匹配接收者的理解模型。
• 孔明的烟火策略： 同一信号在不同上下文中可能传递相反的信息。Agent 必须考虑信息接收者的心智模型。

---

5. 系统设计原则

5.1 相对孤立系统（划定系统边界）

不可能考虑所有因素。 系统边界的划定原则：

1. 忽略影响概率足够小的因素（当作系统外的干扰）。 2. 系统应当是自闭合的互为因果网络（核心变量之间有强相关）。 3. 根据研究目的和时间尺度选择主要变量。

Agent 任务规划应用：

• 不要把所有相关因素都纳入考虑。识别核心因果链，忽略弱相关因素。
• 系统边界是相对的：短期任务和长期任务的系统边界不同。
• 开巴鹿教训： 不能固定其他因素只调一个变量。互为因果的系统中，改变一个变量会连锁影响所有变量。

5.2 稳态结构（系统的归宿）

互为因果的系统会自动趋向稳态结构。

• 稳态结构 = 系统各部分相互作用使整体保持不变的状态。
• 干扰使系统偏离稳态后，系统会自动回归。

Agent 设计应用：

• 利用稳态预测： 不需要追踪系统变化的每一步，只需要找出系统可能的稳态结构，就能预测最终结果。"蜜蜂两小时后在哪里？看哪里花多就行。"
• 找出所有稳态再比较： 大禹治水选择"导"而非"堙"，因为"归海"是洪水最稳定的状态。
• 灵敏性与稳定性的矛盾： 系统太稳定会不灵敏（仪表指针不动）。Agent 需要在稳定性（鲁棒）和灵敏性（适应变化）之间取得平衡。

5.3 超稳定系统（靠不稳定维持稳定）

长期稳定的系统都有自我修复机制。

超稳定 = 稳定 -> 不稳定（遭受干扰/变化）-> 修复 -> 恢复稳定

Agent 设计应用：

• Agent 系统不能只有稳态，还必须有修复机制：当检测到状态偏离时，能自动触发修复流程。
• 修复的方向必须是回到原有良好状态，而不是任意新状态。
• 人体的脏象模型就是一个超稳定系统：五脏互相反馈调节，小偏差自动修正，大偏差触发修复机制。

5.4 自繁殖与链式反应

自繁殖 = 变量值越大，增长越快 = 指数增长 = 系统崩溃的前兆。

Agent 中的自繁殖风险：

• Token 消耗指数增长（每步产生更多子任务）
• 错误修复循环（每次修复引入更多问题）
• 上下文膨胀（每步积累更多冗余信息）

对治：

1. 设定临界值： 只有超过临界值才会发生自繁殖。控制关键变量在临界值以下。 2. 维护负反馈抑制机制： 自繁殖往往是因为负反馈抑制机制被破坏（如同癌症是细胞增殖抑制机制失灵）。 3. 中子慢化剂原理： 在链式反应中加入减速/吸收环节，将增殖系数控制在 1 附近。

5.5 自组织系统

自组织 = 系统从无序自动形成有序结构。

自组织的五个特征：

1. 需要组织核心 -- 晶核决定晶体形状；第一根木头是直是曲决定整个马厩。 2. 系统必须是不稳定或亚稳定的 -- 过于稳定的系统无法重组。 3. 存在自动选择链 -- 一次选择导致下一次选择，可能性空间自动缩小。 4. 过程不可逆 -- 一旦形成组织，难以改变为另一种形式。 5. 差之毫厘，失之千里 -- 核心的微小差异导致最终组织的巨大差别。

Agent 设计应用：

• 控制组织核心： 系统设计的初始架构决定了整个系统的演化方向。Agent 的初始 prompt、种子策略、基础工具链就是"组织核心"。
• 利用自组织减少控制开销： 不需要控制每一个细节，只需要选好核心，让系统自己组织起来（智力放大）。
• 学习过程是自组织： 错误的基础概念一旦建立就难以修正，比从零学起更困难。

---

6. 质变与渐变的判定

6.1 判定原则

不是用速度判定飞跃，而是用稳定性判定。

如果质变中经历的中间过渡态是不稳定的，那就是飞跃。

如果中间过渡态是稳定的，那就是渐变。

• 从塔底偷砖 -> 塔的稳定性被动摇 -> 某一刻坍塌（飞跃）。
• 从塔顶偷砖 -> 塔始终稳定 -> 逐渐变矮直到消失（渐变）。
• 多米诺骨牌倒下是飞跃（每块倒下影响下一块的稳定性），不管速度多慢。
• 从谷堆取谷是渐变（剩余谷堆始终稳定），不管速度多快。

6.2 Agent 应用

• 评估变更影响时： 判断这个变更是否会动摇系统的稳定结构。如果会，要准备好应对"坍塌"式连锁反应。如果不会，可以安全地渐进执行。
• 重构 vs 修补： 从底层改架构可能触发飞跃式质变（系统整体不稳定期）。从表层改 API 通常是渐变。

6.3 滞后（矫枉过正）

只有飞跃过程才会出现滞后。

• 条件正向变化导致状态飞跃后，反向恢复条件时，状态不会立即回到原状，需要条件反向变化到超过原始程度才行。
• Agent 应用： 当 Agent 的策略从 A 飞跃到 B 后，如果想回到 A，简单撤回最后一步变更是不够的 -- 可能需要更大幅度的反向调整。

---

7. 黑箱认识论与实验系统设计

7.1 黑箱方法

一切认识对象都是黑箱。 黑箱有两组变量：

• 可观察变量（输出）：Agent 能感知的。
• 可控制变量（输入）：Agent 能操控的。

两种认识方法：

Agent 实验设计：

• 孟德尔方法（不打开黑箱）： 控制输入（选择亲本性状），观察输出（子代性状），推断内部机制（基因假说）。
• 打开黑箱是相对的： 打开一层黑箱，又面对新的黑箱。染色体 -> DNA -> 碱基序列 -> ...永远不会终结。
• 巴甫洛夫方法： 不能打开狗的大脑来看它怎么"看见"，但可以通过条件反射实验（控制输入/观察输出）推断狗是色盲。

7.2 认识论模式（实践-理论-实践）

认识 = 负反馈调节过程：

                 +---------+
  控制输入 ----->| 客体 A  |-----> 实际结果
                 | (黑箱)  |         |
                 +---------+         |
                                     v
                              +------------+
                              | 比较(鉴别) |<--- 预期结果
                              +------------+         ^
                                     |               |
                                     v               |
                              +------------+   +----------+
                              | 修改模型   |-->| 模型 B   |
                              +------------+   | (理论)   |
                                                +----------+

7.3 认识逼近真理的五个障碍

这是 Agent 实验系统设计的核心检查清单。

障碍一：可观察/可控制变量不足

• 范·赫耳蒙特无论多精确地称量柳树、水和土壤，都不能发现光合作用，因为空气中的 CO2 不在他的可观察变量中。
• Agent 检查： 当前的观测手段和工具集是否覆盖了问题的关键变量？是否存在盲区？

障碍二：理论缺乏清晰性（不可证伪）

• "明天可能下雨也可能不下雨"的预报信息量为零，无法检验。
• 波普尔可证伪性原则： 理论必须给出可被实践否定的明确预测。
• Agent 检查： 每一个假设/计划都应当有明确的预期结果和失败判定标准。"如果执行后观察到 X，则假设成立；如果观察到 Y，则假设失败。"

障碍三：反馈速度跟不上变化速度

• 楚国先测量河深再渡河，但山洪暴发了。
• 如果 Agent 修改策略的速度慢于环境变化的速度，就会永远落后于实际情况，产生振荡。
• Agent 检查： 决策循环时间是否匹配任务的时间约束？

障碍四：反馈过度（矫枉过正 -> 振荡）

• 导弹每次调整方向都过头，在目标左右来回摆动。
• 光学史：粒子说 -> 波动说 -> 粒子说 -> ... 每次纠错都全盘否定上一个理论。
• Agent 检查： 修正策略时是否保持了适当的幅度？是否存在从一个极端跳到另一个极端的模式？

障碍五：可判定条件不成立

• 薛定锷的第一个方程与实验不符，但原因不是方程错了，而是电子自旋还没被发现。
• 当实验结果不能正确反映理论的正确程度时，Agent 的修正方向可能是错误的。
• Agent 检查： 评估标准本身是否可靠？是否存在中间标准/范式可以辅助判断？

---

8. 反馈循环设计模板

8.1 基本反馈循环

loop:
    observe(当前状态)
    gap = compare(当前状态, 目标状态)
    if gap <= tolerance:
        return success
    if gap 连续增大:
        return fallback(上一个良好状态)     // 正反馈检测
    if iterations > max_iterations:
        return escalate(向上级/用户求助)     // 防止无限循环
    action = select_action(减小 gap 的方向)
    execute(action)
    iterations += 1

8.2 多层反馈（超稳定系统）

# 第一层：任务执行反馈
while not task_complete:
    execute_step()
    if deviation_detected():
        adjust_step()              // 负反馈修正

# 第二层：策略修复反馈
if strategy_broken():              // 第一层反馈失效
    diagnose_failure()
    repair_strategy()              // 超稳定修复机制
    restart_first_layer()

# 第三层：目标修复反馈
if goal_unreachable():             // 第二层修复也失效
    re_examine_goal()
    consult_user()                 // 人类介入

8.3 实验系统设计模板

experiment:
    1. 定义黑箱边界
       - 可观察变量: [列出所有可观测的输出]
       - 可控制变量: [列出所有可操控的输入]
       - 不可控因素: [列出已知但无法控制的干扰]

    2. 建立模型（假设）
       - 假设: [明确、可证伪的陈述]
       - 预期结果: [在条件 C 下，应当观察到 R]
       - 失败判定: [如果观察到 R'，则假设失败]

    3. 执行实验
       - 设定输入
       - 观察输出
       - 记录干扰

    4. 比较与修正
       - 实际结果 vs 预期结果
       - 目标差计算
       - 修改模型（注意避免反馈过度）

    5. 滤波验证
       - 用不同通道/方法重复验证关键结论
       - 确保多条通道的环节真正独立（避免曾参杀人陷阱）

    6. 迭代或终止
       - 目标差在容忍范围内 -> 接受结论
       - 目标差仍大 -> 回到步骤 2
       - 检测到可判定条件不成立 -> 扩展可观察/可控制变量

---

9. 智力放大与任务分解

9.1 智力放大 = 选择能力的放大

刘邦不能打仗，但善于选人。选择了张良、萧何、韩信，

通过组织核心放大了自己的选择能力，建立了汉朝。

Agent 的智力放大策略：

• 不需要自己解决所有问题，只需要选择正确的工具和正确的子 Agent。
• 通过自组织机制，小范围的核心选择可以自动放大为大规模的组织效果。
• 矿石浮选模型： 人选择选矿剂（小范围选择），选矿剂自动完成大规模选矿（智力放大）。

9.2 任务分解的控制论原则

1. 先估算总控制能力需求： M_total / m_target = 需要的总控制能力 2. 分解为可管理的子任务： 每个子任务的控制能力 Q_i，总能力 = Q_1 Q_2 ... Q_n 3. 各步控制能力尽量均匀： 如同天平称球时 a、b、c 三组尽量等分（最大化信息利用效率） 4. 每步之间维持反馈：* 前一步的输出成为后一步的输入可能性空间

---

10. 设计检查清单

在设计或审查 AI Agent 系统时，逐项检查：

• [ ] 可能性空间是否明确？ 任务的初始可能性空间和目标状态是否清晰定义？
• [ ] 控制能力是否匹配？ 可用工具/方法的控制能力是否足以达到目标？
• [ ] 反馈循环是否闭合？ 是否有观察 -> 比较 -> 修正的完整回路？
• [ ] 是否有正反馈检测？ 目标差连续增大时是否有熔断/回退机制？
• [ ] 信息通道是否充分？ 是否有足够的观测手段覆盖关键变量？
• [ ] 滤波机制是否就位？ 关键结论是否通过独立通道交叉验证？
• [ ] 理论是否可证伪？ 每一个假设/计划是否有明确的失败判定标准？
• [ ] 反馈速度是否足够？ 决策修正速度是否能跟上任务环境的变化？
• [ ] 是否防止反馈过度？ 修正幅度是否适当，不会从一个极端跳到另一个极端？
• [ ] 系统边界是否合理？ 是否只包含了强相关的核心变量，排除了弱相关干扰？
• [ ] 超稳定机制是否存在？ 当策略层面失败时，是否有修复机制能恢复到已知良好状态？
• [ ] 自繁殖风险是否可控？ 是否有机制防止 Token/任务/错误的指数增长？

---

附：术语速查

---

这个世界之所以是现在这个世界，各种事物之所以能存在并进行有规律的运动，都离不开稳定性。

-- 金观涛、华国凡《控制论与科学方法论》