شركة مكافحة الهشاشة:
عندما يراقب الذكاء الاصطناعي نفسه
ويحسن نفسه

معظم الأنظمة تخشى الصدمة: وقوع حادث ما يحط من شأنها. البعض يقاومها: يأخذونها دون أن ينكسروا. أنظمة نادرة جدًا تخرج معززة - فهي تحول الصدمة إلى تعديل. هذا مضاد للهشاشة. يمكن للذكاء الاصطناعي المحكوم أن يصل إلى هذه الحالة، بشرط واحد: أن يراقب نفسه، وأن يقرر الإنسان.

01 - الملاحظةالصندوق الأسود يتدهور بصمت

يعاني الذكاء الاصطناعي غير الخاضع للرقابة من عيب هائل: فهو يفشل دون أن يقول ذلك. ينجرف المحرك، وتتدهور المخرجات، ولا يرى أحد ذلك حتى يتم الإبلاغ عن حادث من قبل التجارة، أو ما هو أسوأ من ذلك، من قبل العميل. ليس لدى النظام وعي بحالته الخاصة، لأنه ليس لديه جهاز مراقبة أصلي.

هذه العتامة ليست محايدة. ويجعل المنظمة هشة. كل صدمة — مصدر متغير، حدث غير متوقع، انجراف بطيء — تضرب نظامًا أعمى. لا يمكننا إلا أن نصحح ما نراه، ولا نرى شيئا. الحادث، بدلا من أن يصبح تجربة تعليمية، يصبح خسارة فادحة.

دعونا نوضح نقطة واحدة، لأنها تحكم كل شيء آخر: الذكاء الاصطناعي لا "يفهم" أي شيء ولا "يصحح" نفسه. الحديث عن المراقبة الذاتية هو حديث عن الأجهزة. النظام مجهز لقياس أشواطه الخاصة؛ ويبقى قرار التعديل إنسانياً. مكافحة الهشاشة ليست سحرية. إنها هندسة معمارية.

هشة وقوية ومضادة للهشاشة

هناك ثلاثة أنظمة تستحق التمييز، لأنها كثيراً ما يتم الخلط بينها. نظامقابل للكسريتدهور عند الاصطدام: وقوع حادث يدمره بشكل دائم. نظامقوييقاوم الصدمة: فهو يمتص ويعود إلى حالته الأولية. نظاممضاد للهشاشةيستغل الصدمة: فيظهر بمستوى أعلى من نقطة بدايته.

تهدف معظم المنظمات إلى تحقيق المتانة، وهذا طموح بالفعل. لكن المتانة لها حدود: فهي لا تستفيد من الصدمة. يعود النظام القوي إلى الصفر، ويكون جاهزًا لتجربة نفس الحادث غدًا. يضيف مضاد الهشاشة الشيء الوحيد المفقود – الذاكرة. الصدمة لا يتم امتصاصها فحسب، بل يتم ملاحظتها وفهمها وتحويلها إلى تعديل سيبقى. هذه الذاكرة، وليس أي قوة متفوقة، هي التي تصنع الفارق.

02 - الآليةالمراقبة والكشف والتحكيم والتحسين

تعتمد مقاومة الهشاشة على حلقة مكونة من أربع خطوات، وخاصيتها الرائعة هي أنها تنغلق على نفسها: ما تتعلمه، تعيد حقنه.

المرة الأولى،يراقب. ينتج عن كل تشغيل إيصال تشغيل وقياس أصلي عن بعد: المصادر المعبأة والاستدلالات والتكلفة وحالة التحقق من الصحة. النظام لا ينتج فقط، بل يسجل كيفية إنتاجه. المرة الثانية،يكشف. ومن هذه الملاحظة، تصبح التناقضات واضحة: انحراف في الجودة، وتكلفة غير طبيعية، وحالة خارج النطاق المعتمد. تم تتبع الحادث ولم يتعرض له.

المرة الثالثة،تحكيم. هذا هو المكانالإنسان في الحلقة: المشغل، المراجع، الموافق. تقترح خوارزمية التحكيم؛ الإنسان يقرر. لا يتم نشر أي تحسين بدون هذا التحقق من الصحة. المرة الرابعة،لتحسين. تم إصدار الإعداد المحدد في Vault. تصبح القاعدة الجديدة، موثقة وقابلة لإعادة التشغيل. ثم تبدأ الحلقة مرة أخرى، على مستوى أعلى.

المقصورة الطيارهو العضو الذي يجعل هذه الحلقة قابلة للتحكم. إنه يجمع إمكانية ملاحظة جميع الطقوس ويكشف عنCPI - أهداف الأداء الصناعي: خمسة مؤشرات اتجاهية أصلية. لم تعد صحة النظام أمرًا بديهيًا. وهي عبارة عن لوحة تحكم للسلطة، يمكن قراءتها من قبل اللجنة التنفيذية.

هذه الأهداف الخمسة يجيب كل منها على سؤال يطرحه المدير. الالتكلفة لكل تشغيليحكي ما هي تكاليف القرار وكيف تتطور هذه التكلفة. المعدل المنفعة المصدق عليهيوضح عدد مرات التشغيل التي تمت الموافقة عليها دون إعادة العمل، وهو المقياس المباشر للموثوقية. ل'مؤشر التجزئةيقول كم من الذكاء الاصطناعي لا يزال يفلت من الحكم. هناكVAAيقول ما هي قيمة التراث الخوارزمي وكيف يتم تقديره. وتشير تغطية الإثبات إلى مقدار القرارات التي تم تتبعها وإعادة تشغيلها.

ميزة المباراة المغلقة المكونة من خمسة أهداف هي الانضباط الذي تفرضه. نحن لا نجرب الذكاء الاصطناعي المحكوم بخمسين مقياسًا لا يقرأه أحد. ونحن نديرها بخمسة أهداف، وكل منها يتطلب اتخاذ قرار: الاستثمار، أو إعادة المراجحة، أو المزيد من السيطرة، أو الانسحاب. وتقوم حلقة المراقبة الذاتية بتغذية هذه الأهداف بشكل مستمر؛ تقرأها اللجنة التنفيذية كما تقرأ بيان الدخل - في لمحة، مع السلطة.

03 - البرهانويصبح الحادث أصلا موثقا

في نظام هش، الحادثة هي عار ندفنه. وفي نظام مضاد للهشاشة، يعد هذا أحد الأصول التي نقوم بتوثيقها. يكمن الاختلاف في الدليل الأصلي: يتم تتبع الانحراف المكتشف والتحكيم المعتمد والتعديل المطبق بنفس طريقة تتبع القرار الناجح.

وتتعارض هذه الفكرة مع عادة عنيدة: فنحن نعتقد منذ فترة طويلة أن النظام الجيد هو نظام خال من الحوادث، وأن الحادثة لابد أن تختفي عن الأنظار. والعكس هو الذي يحمي المنظمة. إن المنظم، والمدقق، والعميل المستنير لا يطلب المستحيل – الغياب التام للانحراف. إنهم يطالبون بدليل على رؤية التناقضات ومعالجتها ومنع تكرارها. إن الحادث الذي تم تتبعه وتصحيحه، في عملية التدقيق، هو إشارة أفضل من الصمت الخالي من العيوب - لأن الصمت يمكن أن يخفي العمى بقدر ما يخفي الكمال.

يغير هذا الملف موقف المنظمة في مواجهة المخاطر. لم يعد مدير المخاطر يكتشف الحوادث: بل يديرها. وكل انحراف يحمل سببه وتصحيحه وبرهانه. لم تعد المراجعة تتكون من إعادة بناء ما حدث، بل تتكون من إعادة قراءة ما تم تتبعه.

04- الربحمنظمة تتعلم من صدماتها

مكافحة الهشاشة ليست راحة تقنية. وهذه ميزة للحوكمة، والتي يمكن قراءتها بشكل مختلف اعتمادًا على المقعد الذي تشغله في اللجنة التنفيذية.

• للمخاطر.يتم اكتشاف الحوادث مبكرًا وتتبعها وتصحيحها بطريقة موثقة. ولا يتم تقليل التعرض للصدمات بسبب غياب الصدمات ــ وهو أمر وهمي ــ بل من خلال سرعة الاستجابة وجودتها.
• لقسم تكنولوجيا المعلومات.توفر قمرة القيادة رؤية موحدة لحالة المحركات ومؤشرات أسعار المستهلك. يتوقف الإشراف عن أن يكون رد فعل: يصبح إدارة مستمرة، عند نقطة واحدة.
• للامتثال.يتم إصدار كل إعداد وقابل لإعادة التشغيل. تعد القدرة على توضيح كيفية معالجة التناقض ذات قيمة في عملية التدقيق مثل عدم وجود تناقض.
• للإدارة العامة.تصبح المنظمة نظامًا يتعلم. ولم يعد أدائه يعتمد على استقرار بيئته، بل على قدرته على تحويل عدم الاستقرار إلى التكيف.

05 – الاعتراض"أليس تحسين الذات مسألة فقدان السيطرة؟ »

إن عبارة "الذكاء الاصطناعي المحسن ذاتياً" مثيرة للقلق بحق. إنه يستحضر نظامًا يعدل نفسه، بعيدًا عن متناول الحكم البشري. إذا كان الأمر كذلك، فإن الاعتراض سيكون حاسما: لا يمكن لإدارة المخاطر أن تقبل نظاما يعيد تشكيل نفسه دون رقابة. ولذلك يجب أن نكون دقيقين بشأن ما يعنيه تحسين الذات هنا، وما لا يعنيه.

ما هو تلقائي هو الملاحظة. يقوم النظام بقياس عمليات التشغيل الخاصة به بشكل مستمر والإبلاغ عن الانحرافات دون أن يُطلب منك ذلك. ما لا يكون تلقائيًا أبدًا هو قرار الضبط. لا يتم نشر أي تعديل دون المرور عبرالإنسان في الحلقة: تقترح خوارزمية التحكيم، ويفحص المحكم، ويوقع الموافق. التحسين الذاتي ليس غياب البشر. إن الإنسان الأفضل تجهيزًا هو الذي يقرر على أساس الملاحظة المحلية بدلاً من الحدس المتأخر.

التحكم، بعيدًا عن التناقص، يزداد. في النظام المبهم، السيطرة هي خيال: لا يمكننا السيطرة على ما لا نستطيع رؤيته. في نظام مضاد للهشاشة، يتم اقتراح كل تعديل والتحقق من صحته وإصداره وقابل لإعادة التشغيل. نحن نعرف من قرر ماذا ومتى ولماذا. يمكنك العودة إلى إصدار سابق. إن التعديل ليس انحرافًا تم التعرض له: إنه قرار مخطط له. إن الدليل الأصلي لا يأخذ يد الإنسان بعيدًا، بل يرشده.

يبقى هناك متطلب واحد، وتخدمه Cockpit: جعل هذه الحلقة قابلة للقراءة على المستوى الصحيح. لا يتعين على المشغل أن يرى نفس الشيء الذي يراه عضوًا في اللجنة التنفيذية. توفر مؤشرات أسعار المستهلك رؤية اتجاهية؛ تظل تفاصيل إيصالات التشغيل متاحة للتدقيق. تم تدرج التحكم وليس تخفيفه.

06 — التنفيذالملاحظة قبل الطموح

نحن لا نقرر مكافحة الهشاشة: بل نصممها. الخطوة الأولى ليست برنامجًا كبيرًا للمرونة، بل هي إمكانية الملاحظة المحلية لطقوس موجودة. بمجرد أن تنتج إحدى الطقوس إيصالات التشغيل وتكشف مؤشر أسعار المستهلك (CPI) الخاص بها إلى قمرة القيادة، يمكن إغلاق الحلقة: المراقبة، والكشف، والتحكيم، والتحسين. النطاق أقل أهمية من الحلقة: طقوس واحدة تمت مراقبتها بالكامل أفضل من عشر طقوس نصف مراقبة.

الطموح يأتي لاحقًا، ويأتي بشكل طبيعي. النظام الذي ينظر إلى نفسه يوحي بالثقة؛ النظام الذي يلهم الثقة يُعهد إليه بطقوس أكثر أهمية. مكافحة الهشاشة ليست المرحلة الأخيرة من نضج الذكاء الاصطناعي. وهذا هو الشرط الأول لبناء هذا النضج – صدمة تلو الأخرى.

نحن نقيس المنظمة من خلال رد فعلها على ما هو غير متوقع. والذي يخاف الصدمة يخفيها ويكررها. ومن يعاني منها يأخذها وينسىها. وما يتم ملاحظته يحوله إلى تعديل ويتقوى. بين هذه الأوضاع الثلاثة، ليست هناك مسألة الحظ، بل مسألة الهندسة المعمارية - والهندسة المعمارية هي التي تقرر.