反脆弱公司：
当人工智能观察自己时
和自我优化

大多数系统都害怕冲击：一个事件会降低它们的性能。有些人抵制它：他们接受它而不打破。非常罕见的系统会得到强化——它们将冲击转化为调整。这就是反脆弱性。受治理的人工智能可以达到这种状态，有一个条件：它观察自己，并且由人类决定。

01 — 观察黑匣子悄然恶化

不受监管的人工智能有一个巨大的缺陷：它会在不说出来的情况下失败。电机漂移，输出恶化，直到行业报告事故或更糟糕的是客户报告事故为止，没有人发现这一点。该系统没有意识到自己的状态，因为它没有原生的观察器官。

这种不透明度不是中性的。它使组织变得脆弱。每次冲击——一个变化的来源、一个意外事件、一个缓慢的漂移——都会撞击一个盲目的系统。我们只能纠正我们所看到的，但我们什么也看不到。这次事件非但没有成为一次学习经历，反而成为一次彻底的损失。

让我们澄清一点，因为它支配着其他一切：人工智能不会“理解”任何东西，也不会“纠正”自己。谈论自我观察就是谈论仪器。该系统可以测量自己的运行情况；调整决定仍然是人为的。反脆弱性并不是魔法。这是一个建筑。

脆弱、坚固、反脆弱

三种政权值得区分，因为它们经常被混淆。一个系统脆弱的因撞击而恶化：一次事件对其造成永久性损坏。一个系统强壮的抵抗冲击：它吸收并返回到其初始状态。一个系统反脆弱的利用冲击：它出现在比起点更高的水平上。

大多数组织都以稳健性为目标，而这已经是雄心勃勃的目标。但鲁棒性有一个限制：它不能利用冲击。强大的系统归零，准备好明天再经历同样的事件。反脆弱性增加了缺失的一件事——记忆。冲击不仅会被吸收，还会被观察、理解并转化为持续的调整。正是这种内存，而不是任何卓越的鲁棒性，才使得一切变得不同。

02 — 机制观察、检测、仲裁、优化

反脆弱性基于一个四步循环，其显着的特性是它会自我封闭：它学到什么，就会重新注入。

第一次，观察。每次运行都会生成运行收据和本机遥测：移动源、推论、成本、验证状态。该系统不只是生产：它还记录它是如何生产的。第二次，探测。从这一观察中，差异变得显而易见：质量漂移、成本异常、超出认证范围的情况。该事件是被追踪的，而不是遭受的。

第三次，仲裁。这就是人类在循环中：操作者、审阅者、批准者。仲裁算法提出；人类决定。如果没有此验证，则不会部署任何优化。第四次，优化。所选设置在 Vault 中进行版本控制。它成为新的基地，有记录且可重播。然后循环再次开始——在更高的层面上。

这座舱是使这个循环可控的器官。它聚合了所有仪式的可观察性并揭示了CPI：工业绩效目标：五个原生方向指标。系统健康状况不再是一种直觉。它是一个权威仪表板，可供执行委员会阅读。

这五个目标分别回答了经理提出的一个问题。这每次运行成本讲述决策的成本以及该成本如何演变。这验证实用率表示有多少次运行无需返工即可获得批准——这是可靠性的直接衡量标准。 L'碎片指数说有多少人工智能仍然逃脱监管。那里VAA说明了算法遗产的价值以及如何欣赏它。证据覆盖范围表明有多少决策是被跟踪和可重播的。

五个目标的封闭式比赛的优势在于它所施加的纪律。我们不会用无人阅读的五十个指标来试点受监管的人工智能。我们通过五个目标进行管理，每个目标都需要做出决定：投资、再套利、更多治理或退出。自观察循环不断地向这些目标提供信息；执行委员会阅读它们就像阅读损益表一样——一目了然，充满权威。

03 — 证明该事件成为记录资产

在一个脆弱的系统中，发生事件是我们埋葬的耻辱。在反脆弱系统中，它是我们记录的资产。区别在于原生证明：检测到的偏差、采取的仲裁和应用的调整都以与成功决策相同的方式进行追踪。

这种想法与一个顽强的习惯相冲突：我们长期以来相信，一个好的制度就是一个没有发生事件的系统，并且事件应该从人们的视线中消失。保护组织的恰恰相反。监管者、审计员、知情的客户不会要求不可能的事情——完全不存在偏差。他们要求提供证据，证明差异已被发现、解决并防止再次发生。在审计中，被追踪和纠正的事件是比完美的沉默更好的信号——因为沉默可以掩盖盲目性，就像完美一样。

该文件改变了组织面对风险的态势。风险经理不再发现事件：他管理事件。每一个偏差都有它的原因、它的纠正和它的证据。审计不再包括重建所发生的事情，而是包括重新阅读所追踪的内容。

04 — 利润一个从冲击中吸取教训的组织

反脆弱性不是技术上的舒适。这是一种治理优势，根据您在执行委员会中的席位不同，其含义也不同。

• 为了风险。及早发现事件，以记录的方式进行追踪和纠正。暴露程度的降低不是因为没有冲击（这是虚幻的），而是因为反应的速度和质量。
• 对于 IT 部门。Cockpit 提供了发动机和 CPI 健康状况的统一视图。监督不再是被动的：它变成了在一个点上的持续管理。
• 为了合规。每个设置都有版本控制且可重播。在审计中，证明如何处理差异的能力与不存在差异同样重要。
• 对于一般管理人员。组织成为一个学习的系统。它的表现不再取决于环境的稳定性，而是取决于其将不稳定转化为调整的能力。

05 — 反对意见“自我优化不就是失去控制吗？”

“自我优化人工智能”这个说法确实令人担忧。它唤起了一个自我修改的系统，超出了人类判断的范围。如果是这样的话，反对意见将是决定性的：任何风险管理都不能接受一个在没有控制的情况下自行重新配置的系统。因此，我们必须准确理解自我优化在这里意味着什么，以及它不意味着什么。

自动的是观察。系统会连续测量自己的运行情况，并在未经询问的情况下报告偏差。调整决定从来都不是自动的。没有经过调整就不会部署人类在循环中：仲裁算法提出，Reviewer审核，Approver签字。自我优化并不是人类的缺席。装备更好的人会根据本能观察而不是后期直觉做出决定。

控制非但没有减少，反而增加了。在不透明的系统中，控制是虚构的：我们无法控制我们看不到的东西。在反脆弱系统中，每次调整都会被提议、验证、版本化和可重播。我们知道谁决定了什么、何时以及为什么。您可以恢复到早期版本。这次调整并不是一种漂移：这是一个有计划的决定。原生证明并不会夺走人的手——而是引导人的手。

还有一个要求，Cockpit 满足了这一要求：使该循环在正确的级别可读。经营者不必与执行委员会成员看到同样的事情。消费者物价指数提供了方向性的观点；运行收据的详细信息仍然可供审计。对照是分级的，而不是稀释的。

06 — 实施先观察后野心

我们不颁布反脆弱性法令：我们用工具来实现它。第一步不是宏大的恢复计划，而是现有仪式的本地可观察性。一旦仪式产生运行收据并将其 CPI 暴露给 Cockpit，循环就可以关闭：观察、检测、仲裁、优化。范围比循环更重要：一个完全遵守的仪式比十个半监督的仪式要好。

野心来得晚，自然而然。一个审视自身的系统会激发信心；一个激发信心的系统被赋予了更关键的仪式。反脆弱性并不是人工智能成熟的最后阶段。这是建立这种成熟度的第一个条件——一次冲击。

我们通过组织对意外事件的反应来衡量它。害怕震惊的人会隐藏它并重复它。受苦的人接受它并忘记它。观察到的东西会将其转化为调整并得到加强。在这三种姿势之间，不存在运气问题，而是架构问题——而架构决定。