الذكاء الاصطناعي والأتمتة

ضوابط الذكاء الاصطناعي التوليدي: إدارة مخاطر الهلوسة

الهلوسة ليست خللًا تعالجه لاحقًا، بل خاصيّة أصيلة في طريقة عمل النماذج اللغوية؛ وإليك كيف تُصمّم ضوابط مُعايَرة على ما تكلّفه الإجابة الخاطئة فعلًا.

MA
محمود الحرازيناستشارات الأمن والذكاء الاصطناعي
Nov 2025· 4 دقيقة قراءة
شارك

قدّم محامٍ في نيويورك مذكرة قانونية استشهد فيها بستّ سوابق قضائية، اختلقها ChatGPT جميعًا: أسماء قضايا مختلَقة، واقتباسات مختلَقة، وأرقام ملفّات مختلَقة. لم يتعطّل النموذج، بل فعل تحديدًا ما صُمّم من أجله: إنتاج نصٍّ سلس ومقنع. لم يكن الاختلاق خللًا في النظام؛ بل كان النظام يعمل تمامًا كما صُمّم، أمام مستخدم افترض أن الطلاقة تعني الصدق.

هذه الفجوة — بين أن يبدو الكلام صحيحًا وأن يكون صحيحًا فعلًا — هي المشكلة برمّتها. وإن كنت تضع الذكاء الاصطناعي التوليدي أمام عملائك أو داخل مسار اتخاذ قرار، فالهلوسة ليست حالةً نادرة ستعالجها لاحقًا؛ إنها خاصيّة أصيلة في التقنية نفسها، عليك أن تبني نظامك حولها منذ اليوم الأول.

كفّ عن تسميتها خللًا

النماذج اللغوية الكبيرة لا تسترجع الحقائق؛ إنها تتنبأ بالرمز (token) التالي بناءً على كل ما سبقه، مُحسِّنةً للأرجحية الإحصائية لا للحقيقة. فحين تدعم بيانات التدريب إجابةً واثقةً وصحيحة، تحصل عليها؛ وحين لا تدعمها، ينتج النموذج إجابةً واثقةً على أي حال — إذ لا توجد لديه إشارة داخلية تقول «أنا لا أعرف هذا حقًّا». الثقة والدقّة أمران منفصلان.

إعادة التأطير هذه مهمّة لأنها تغيّر ما تبنيه؛ إذ تكفّ عن مطاردة «النموذج الخالي من الهلوسة» الأسطوري، وتبدأ بتصميم نظام يفترض أن النموذج سيختلق أشياء أحيانًا، ثم يلتقطها قبل أن يبلغ الاختلاقُ مَن سيتصرّف بناءً عليه.

لائم الضابط مع حجم المخاطرة

ليست كل حالة استخدام بحاجة إلى الصرامة نفسها. في تكليفاتي، أُوزّع التطبيقات على تدرّج للمخاطر، وأصرف الميزانية حيث تؤذي الإجابة الخاطئة فعلًا.

  • مخاطرة منخفضة — العصف الذهني، والمسوّدات الأولى، والشيفرة التي سيراجعها إنسان على أي حال. لمسة خفيفة تكفي؛ فالإجابة الخاطئة الواثقة لا تكلّف سوى دقائق معدودة.
  • مخاطرة متوسطة — دعم العملاء، والبحث في المعرفة الداخلية، وتلخيص المستندات. هنا تُضعف الإجابة الخاطئة الثقة أو تُضلّل، فتحتاج إلى تأريض (grounding) واستشهادات.
  • مخاطرة عالية — أي شيء قانوني أو طبي أو مالي أو متعلّق بالامتثال، أو أي شيء يُطلق إجراءً لا رجعة فيه. هنا تُسبّب الإجابة الخاطئة ضررًا حقيقيًا، فتحتاج إلى تأريض وتحقّق ومصادقة بشرية ومسار تدقيق (audit trail).

الخطأ الأكثر شيوعًا الذي أراه هو تطبيق ضوابط موحّدة في كل مكان — إمّا خنق أداة عصف ذهني ببوابات مراجعة، أو ترك وكيل (agent) يوافق على طلبات استرداد مالية اعتمادًا على مخرجات نموذج خام. عايِر الضابط تبعًا للعاقبة.

الضوابط التي تُحدث فرقًا حقيقيًا

أرِّض النموذج في بياناتك (RAG)

التوليد المعزّز بالاسترجاع (Retrieval-Augmented Generation) هو الضابط الأعلى أثرًا على الإطلاق. فبدل أن تسأل النموذج عمّا «يعرفه»، تسترجع المقاطع ذات الصلة من مصادرك الموثوقة وتوجّهه ليجيب فقط من ذلك السياق. وحين يُنفَّذ بإتقان، يقلّص هذا الاختلاق بشكل حاد ويمنحك الاستشهادات مجانًا؛ وحين يُنفَّذ بسوء — مقاطع مشوّشة، واسترجاع ضعيف، ودون توجيه بالامتناع — فإنه يكتفي بتغليف السياق الرديء بنثرٍ واثق. جودة الاسترجاع هي السقف الذي لا تتجاوزه جودة الإجابة.

دع النموذج يقول «لا أعرف»

أغلب النماذج الأساسية مُدرّبة على أن تكون مفيدة، ما يدفعها إلى الإجابة دائمًا. لذا عليك أن تمنح النموذج صراحةً إذنًا برفض الإجابة، وأن توجّهه إلى ذلك. فتوجيه نظام (system prompt) يقول «إن لم يتضمّن السياق الإجابة، فقُل إنك لا تملك تلك المعلومة» هو سطر واحد يمنع فئةً كاملة من الاختلاقات. ثم صمّم واجهتك بحيث تُعامل «لا أعرف» على أنها نجاح لا فشل.

تحقّق بخطوة ثانية

في المخاطر الأعلى، لا تثق بتوليدة واحدة. مرّر المخرجات عبر خطوة تحقّق: نموذج ثانٍ يفحص كل ادعاء مقابل المصدر، أو محرّك قواعد يتحقّق من الحقول المنظّمة، أو فحص واقعية للأسماء والأرقام. نعم، يكلّفك هذا بعض زمن الاستجابة والرموز (tokens) — لكنّ الدعوى القضائية تكلّفك أكثر بكثير.

أبقِ إنسانًا في الحلقة حيث يهمّ الأمر

المراجعة البشرية ليست إخفاقًا في الأتمتة؛ إنها خيار تصميمي. والسرّ يكمن في وضع الإنسان عند نقطة القرار، لا في إغراقه بكل مُخرَج. أبرِز استشهادات النموذج ودرجة ثقته، وضع علامة على الإجابات ضعيفة التأريض لمراجعتها، ودع الناس يوافقون على الإجراءات التي لا يمكن التراجع عنها.

عامِل كل عبارة مُولّدة كادعاء يجب التحقّق منه، لا كحقيقة يجب الوثوق بها. ابنِ نظامك على هذا الافتراض، تتحوّل الهلوسة إلى مخاطرة مُدارة بدل أن تظلّ عبئًا كامنًا.

قِسها، وإلا فأنت تخمّن

لا يمكنك إدارة ما لا تقيسه. قبل الإطلاق، ابنِ مجموعة تقييم من أسئلة حقيقية بإجابات صحيحة معروفة، وقِس كم مرة يختلق النظام، وكم مرة يرفض خطأً، وكم مرة يستشهد بمصادره بدقة. وبعد الإطلاق، سجّل المخرجات، وخذ منها عيّنات، ودع المستخدمين يشيرون إلى الإجابات السيئة. فمعدّل هلوسة تراقبه مشكلةٌ يمكنك تقليصها، ومعدّل تتجاهله عنوانٌ صحفيّ ينتظر أن يُكتب.

من أين تبدأ

اختر ميزة الذكاء الاصطناعي الأكثر استخدامًا لديك، وأجب عن ثلاثة أسئلة هذا الأسبوع: كم تكلّف الإجابة الخاطئة هنا؟ وهل النموذج مُؤرَّض في بيانات موثوقة أم يرتجل؟ وهل يستطيع — بل هل يقول فعلًا — «لا أعرف»؟ فإن عجزت عن الإجابة عن الثلاثة، فتلك مهمّة الـ sprint الأول لديك. لم يكن الهدف قطّ نموذجًا لا يُخطئ أبدًا، بل نظامًا تُلتقط فيه أخطاؤه، وتُحتوى، وتبقى زهيدة الكلفة.

قبل أن تُطلق ميزتك التالية، اطرح السؤال غير المريح: ماذا يحدث حين يكون النموذج مخطئًا بثقة — ومن أول من سيكتشف ذلك؟

شارك
★ عن الكاتب
MA

محمود الحرازين — استشارات الأمن والذكاء الاصطناعي. يساعد المؤسسات والفرق التقنية على تحويل الأنظمة المعقّدة إلى بنية آمنة وموثوقة وقابلة للتوسّع — من الفكرة حتى التشغيل.

«يتحدّث إليك خبيرٌ مباشرةً. نطاقٌ وسعرٌ واضحان، وتنفيذٌ سريع.»
احجز استشارة

مكالمة 30 دقيقة · بدون التزام

ALHARAZIN

قيادة التحول الرقمي من خلال بروتوكولات الأمن السيبراني المتقدمة وابتكارات الذكاء الاصطناعي. جسر يربط بين التقنية المعقدة والإدارة الاستراتيجية للأعمال.

© 2026 محمود الحرازين. جميع الحقوق محفوظة.