نشر وكلاء الذكاء الاصطناعي في الإنتاج: الحوكمة قبل الاستقلالية

اتصل بي أحد العملاء في الربع الماضي وهو في حالة توتّر. كان وكيل الدعم "المستقلّ" الجديد لديهم قد أمضى عطلة نهاية الأسبوع في إصدار المبالغ المستردة لكل من ألحّ في طلبها بما يكفي. لا سوء نية ولا اختراق — مجرد نموذج ينفّذ تماماً ما طُلب منه، بأداة قادرة على تحريك الأموال ولا أحد يراقب الباب. بلغت الفاتورة خمسة أرقام، لكن الدرس كان أرخص من معظم الدروس: الوكيل ليس ميزة تُطلقها، بل زميل عمل تُدرّبه وتُدخله في الفريق.

لقد تجاوز التسارع نحو نشر الوكلاء في الإنتاج الانضباطَ اللازم لتشغيلهم بأمان. الجميع يريد الاستقلالية، ولا أحد تقريباً يريد كتابة الضوابط أولاً. وهذا ترتيب مقلوب.

الاستقلالية مِقياس متدرّج، لا مفتاح تشغيل

ما يُوقِع الفرق في المتاعب هو النظر إلى الأمر نظرةً ثنائية — إمّا أن يضغط الإنسان كل زرّ، وإمّا أن يعمل الوكيل بحرية مطلقة. الأنظمة الحقيقية تقع على طيف متدرّج، والأحكم أن تبدأ من الأسفل وتشقّ طريقك صعوداً.

أستخدم مع عملائي أربع مراتب تقريبية:

• الاقتراح: الوكيل يصوغ، والإنسان يرسل. نطاق الضرر صفر.
• الموافقة: الوكيل يقترح إجراءً، والإنسان يضغط "موافق" قبل تنفيذ أي شيء.
• التنفيذ والتسجيل: الوكيل ينفّذ الإجراءات القابلة للتراجع بنفسه، مع تسجيل كل خطوة.
• الاستقلالية الكاملة: محصورة في مهام ضيّقة ومفهومة جيّداً وبحدود صارمة.

معظم وكلاء الإنتاج ينبغي أن يبقوا عند مرتبة "الموافقة" أو "التنفيذ والتسجيل" لأشهرٍ لا لأيام. ولا ترقِّ سير العمل إلى مرتبة أعلى إلا بعد أن يكسب الثقة بحركة مرور حقيقية. ما كان لوكيل المبالغ المستردة أن يلمس المرتبة العليا في يومه الأول — فالاسترداد حركة مالية غير قابلة للتراجع، وهي بالضبط الحالة التي تستوجب وجود إنسان في الحلقة.

حدّد نطاق الضرر قبل القدرات

السؤال الخطير هو "ماذا يستطيع هذا الوكيل أن يفعل؟"، أمّا السؤال الصحيح فهو "ما أسوأ ما يمكن أن يفعله، وكم يبلغ سوء ذلك؟". القدرة والعاقبة محوران مختلفان، وأنت تتحكّم في الثاني منهما.

امنح الوكيل أضيق الأدوات التي تكفيه لإنجاز مهمته؛ فكل صلاحية إضافية عبءٌ ستُحاسَب عليه في الثانية صباحاً.

وعملياً، قبل أن يدخل الوكيل الخدمة أشترط حسم ثلاثة أمور:

• أدوات بأقل امتياز. وكيل التقارير المخصَّص للقراءة فقط لا يحصل إلا على صلاحيات قراءة. لا يستطيع الكتابة ولا الحذف ولا الدفع — ليس لأننا نثق به، بل لأننا أزلنا الخيار من الأساس.
• حدود صارمة في الكود، لا في التعليمات. عبارة "من فضلك لا تُرجِع أكثر من 200 دولار" داخل تعليمات النظام مجرد اقتراح، أمّا فحصٌ في غلاف الأداة يرفض أي استرداد يتجاوز 200 دولار فهو قاعدة. لا تفرض حدّاً في المكان الوحيد الذي يملك فيه النموذج حرية تجاهله.
• بوّابات قابلية التراجع. الإجراءات غير القابلة للتراجع — الحذف، والمدفوعات، والبريد الخارجي، وعمليات النشر إلى الإنتاج — تعبر خطاً يستلزم إمّا موافقة بشرية وإمّا فترة تهدئة.

قابلية المراقبة هي جوهر المهمة

لا يمكنك حَوكمة ما لا تستطيع رؤيته. الوكيل الذي يتصرف دون أثر مقروء ليس أداة إنتاجية، بل هو مصدرٌ للمسؤولية القانونية. وفي عملي مع العملاء، الفرق التي تنام مطمئنة هي من جعلت كل قرار للوكيل قابلاً للتدقيق بأثر رجعي.

ويعني هذا تسجيل الأثر الكامل: المُدخَل، ومنطق النموذج حيثما توفّر، والأدوات التي استدعاها والوسائط التي مرّرها، وما عاد به، والإجراء النهائي. وحين تنحرف الأمور — وستنحرف — ستحتاج إلى إعادة بناء ما جرى بالضبط دون تخمين. اربط كل إجراء للوكيل بمعرّف أثر (trace ID) ومالكٍ بشري؛ فعبارة "الذكاء الاصطناعي هو من فعلها" ليست تقريرَ حادثة.

انتبه للأعطال الصامتة

الأعطال الصاخبة سهلة؛ ينهار الوكيل فيصلك التنبيه. أمّا المكلفة فهي الصامتة: وكيلٌ يرتكب الخطأ بثقة، مرة تلو الأخرى، دون أن يلاحظه أحد حتى تنحرف الأرقام. اضبط تنبيهاتٍ على السلوك، لا على زمن التشغيل وحده. حجم الاسترداد يقفز أربعة أضعاف؟ معدّل أخطاء استدعاء الأدوات يتصاعد؟ تغيّر مفاجئ في مزيج الإجراءات؟ تلك هي إنذاراتك المبكرة.

الحوكمة ممارسة، لا وثيقة

وثيقة سياسات بصيغة PDF لا يقرؤها أحد ليست سوى مسرحية. الحوكمة الفعّالة تعيش داخل خط الإنتاج نفسه: مفتاح إيقاف طارئ يستطيع أي مهندس مناوب ضغطه، وحدود معدّل تكبح الضرر في الساعة الواحدة، وطرح تدريجي يجعل أي تغيير سيئ يصيب 1% من الحركة قبل 100%، ومراجعة روتينية لما فعله وكلاؤك بالفعل الأسبوع الماضي.

والجهات التنظيمية تلحق بالركب سريعاً — إذ بات قانون الذكاء الاصطناعي الأوروبي (EU AI Act) والأنظمة القطاعية في دول الخليج يتوقّعان بصورة متزايدة إشرافاً قابلاً للإثبات على القرارات الآلية. والخبر السار أن الضوابط التي تجنّبك المتاعب القانونية هي ذاتها التي تجنّبك المتاعب التشغيلية. فابنِها مرة واحدة.

من أين تبدأ يوم الاثنين

اختر أخطر وكلائك — أو ذاك الذي توشك على إطلاقه — وأجب كتابةً عن ثلاثة أسئلة: ما أسوأ إجراء منفرد يمكنه اتخاذه؟ وهل هذا الإجراء مفروض في الكود أم مجرد مطلوب في التعليمات؟ وإن أساء التصرف لساعةٍ كاملة، فكم يلزمك من الوقت لترصده وتوقفه؟ فإن جعلتك أيّ إجابة تجفل، فقد وجدت مهمة أسبوعك الأول.

الاستقلالية شيء يكسبه الوكيل، لا شيء تمنحه إياه يوم الإطلاق. رسِّخ الحوكمة أولاً، وستتكفّل الاستقلالية بنفسها.