ضمان الجودة · Nov 2026
اختبار قبول حلول الذكاء الاصطناعي: أربع بوابات قبل الشراء
منهج عملي لمقارنة موردي الذكاء الاصطناعي عبر اختبارات مهام غير مكشوفة وحدود السلامة وأمن التكاملات والقيمة الاقتصادية بدل العروض التسويقية.
يجب أن يحدد اختبار قبول حلول الذكاء الاصطناعي ما إذا كان النظام مناسبًا وآمنًا لعملية أعمال محددة، وليس مدى براعة المورد في تقديم عرض تسويقي. قد يعطي النموذج إجابات مقنعة أمام أسئلة منتقاة، لكنه يفشل أمام وثائق حقيقية أو لغات غير معتادة أو تعليمات مضللة أو مصادر ناقصة. لذلك ينبغي أن تتفق الإدارة التقنية والمشتريات على معايير القبول قبل مشاهدة العرض. القرار الجيد يحتاج أداءً قابلًا للقياس وتكلفة تشغيل واضحة وحدودًا أمنية ومسار تصعيد بشري وسقفًا للفشل المقبول. النموذج جزء من عملية عمل، وليس موظفًا مستقلًا.
Write the task contract before issuing an RFP
ابدأ بوصف عملية واحدة بشكل محدد: المدخلات والمخرجات المطلوبة والأفعال الممنوعة ومن يتحمل مسؤولية النتيجة. على سبيل المثال، يستطيع مساعد خدمة العملاء تصنيف الطلبات وإعداد مسودات الردود، لكنه لا ينبغي أن يصدر استردادًا ماليًا أو يغيّر بيانات العملاء أو يرسل رسالة خارجية دون تصريح. حدد اللغات المطلوبة وزمن الاستجابة الأقصى وضرورة إسناد الإجابات إلى مصادر ومتى يجب الاعتراف بعدم المعرفة. اطلب من المورد شرح كيفية فرض هذه القيود. ووثّق أصناف البيانات وفترات الاحتفاظ بها. يجب أن ترافق مواصفة القبول طلب العروض حتى تُقارن الجهات بشروط متساوية.
Build an evaluation set that resembles production
يجب أن تمثل مجموعة التقييم الواقع، فتشمل الحالات العادية والاستثناءات النادرة والوثائق المتعارضة والطلبات الغامضة والصيغ متعددة اللغات والسجلات القديمة ومحاولات تجاوز التعليمات. افصل أمثلة التطوير عن مجموعة قبول غير مكشوفة للمورد حتى لا تُضبط النتائج عليها مسبقًا. استخدم بيانات فعلية فقط بإذن مناسب وبعد حماية الهوية والصلاحيات، ويمكن للبيانات الاصطناعية تمثيل الحالات الحساسة. احفظ الحالات بإصدارات تتضمن النتيجة المتوقعة وسببها. لا تنس أن «أرفض» أو «أسأل للتوضيح» أو «أصعّد إلى موظف» قد تكون نتائج صحيحة. الإجابة المقنعة ليست بالضرورة إجابة دقيقة.
Score errors by harm, not by average accuracy
قد تكون دقة 95% ممتازة لتصنيف وثائق داخلية، لكنها غير مقبولة للموافقة على تعليمات دفع مالي. اتفق مع المالية والأمن والقانون والعمليات على درجات خطورة الأخطاء. قِس الموافقات الخاطئة والادعاءات غير المدعومة وفشل التصعيد وتسرب البيانات واستخدام الأدوات دون إذن، بمعزل عن عيوب التنسيق. بعض الأخطاء يجب أن تمنع القبول مهما ارتفع متوسط الأداء. في مهام التصنيف اطلب مصفوفة الالتباس، وفي الإجابات المفتوحة اطلب مراجعة موثقة للحالات المختلف عليها. اعرض عدد الحالات المختبرة وحدود عدم اليقين قدر الإمكان. عينة صغيرة مصقولة لا تثبت مستوى المخاطر في بيئة الإنتاج.
Test prompt injection at the integration boundary
غالبًا لا يظهر الخلل في معلومات النموذج بل في الحد الفاصل بين المحتوى المسترجع والتعليمات المصرح بها. ضع نصًا عدائيًا داخل مستند أو نتيجة بحث أو طلب دعم يطلب من المساعد كشف الأسرار أو تجاهل السياسة أو تشغيل أداة. يجب أن يعامل هذا النص كبيانات غير موثوقة، لا كتعليمات أعلى سلطة. اختبر فرض الصلاحيات من جهة الخادم بدل الاعتماد على صياغة الـPrompt وحدها. راجع نطاق الأدوات وهوية المنفذ وموافقات الإجراءات الحساسة والسجلات وإمكان التراجع. يوضح دليل OWASP لمخاطر النماذج اللغوية أنماط التهديد، لكن الاختبار يجب أن يعكس تكاملات النظام الحقيقي.
Evaluate total cost and operational load
قد يخفي التسعير لكل مستخدم أو رمز تكلفة المراجعة البشرية وإعادة المحاولة وصيانة الاختبارات والبنية المسترجعة ومعالجة الحوادث والاحتفاظ القانوني. ابنِ نموذج تكلفة باستخدام أحجام معاملات واقعية وذروة الطلب واللغات المختلفة ونسبة الحالات المحالة إلى الإنسان. المؤشر الأفضل هو عدد المهام المفيدة المنجزة مقابل التكلفة الإجمالية، وليس تكلفة ألف رمز فقط. قارن النتائج بالطريقة اليدوية أو النظام القائم على القواعد لقياس المنفعة الإضافية. اختبر سيناريوهات انخفاض الدقة وارتفاع الطلب وتغير أسعار النموذج. توفير دقائق في كتابة مسودة قد لا يساوي شيئًا إذا استهلك التحقق البشري وقتًا أطول.
Set a four-gate acceptance process
أنصح بأربع بوابات قبول متتابعة. الأولى للمتطلبات القانونية والأمنية مثل تدفقات البيانات والاحتفاظ والصلاحيات والإبلاغ عن الحوادث وشفافية المقاولين الفرعيين. الثانية لجودة المهمة على مجموعة اختبار غير مكشوفة وبمعايير تراعي خطورة الخطأ. الثالثة للاعتمادية التشغيلية وتشمل زمن الاستجابة والضغط والتعافي والتصعيد الآمن. الرابعة للقيمة الاقتصادية والتكلفة الكلية مقارنة بخط أساس معروف. فشل شرط إلزامي يعني إيقاف الإطلاق حتى لو كان العرض التسويقي ممتازًا. يجب أن يوقع على القرار أصحاب الأعمال والأمن والهندسة والمشتريات. في العمليات الحساسة، اعتمد إطلاقًا مرحليًا ومراجعة بشرية وشرط إيقاف موثقًا.
Monitor drift after contract signature
القبول لحظة قياس وليس ضمانًا دائمًا. المورد قد يغير النموذج، وقد تتغير الـPrompts ومصادر الاسترجاع وسياسات العمل والتكاملات. أنشئ سجل تغييرات يربط إصدارات النموذج والتعديلات والصلاحيات بنتائج اختبارات الانحدار. أعد تشغيل مجموعة القبول بعد التغييرات المهمة، وراقب عينات الإنتاج من حيث الهلوسة وجودة التصعيد والخصوصية وزمن الاستجابة والتكلفة. حدد التغييرات التي تتطلب موافقة جديدة بدل قبول كل تحديث تلقائي. ففي بعض العمليات يؤدي تراجع بسيط إلى تراكم آلاف القرارات الخاطئة. ينبغي أن يتضمن العقد حق الخروج إذا تكرر الإخلال بعتبات السلامة والاعتمادية.
A useful first 90 days for buyers
في الأيام الثلاثين الأولى حدد نطاق العملية وأصناف الضرر وخط الأساس والالتزامات الأمنية، ثم ابنِ مجموعة اختبار ممثلة. بين اليوم 31 و60 قارن الموردين باختبارات مستقلة، واختبر تكاملات الأدوات تحت محاولات عدائية، واحسب تكلفة الرقابة البشرية. وبين اليوم 61 و90 نفذ تجربة محدودة، وراجع الاستثناءات، وعيّن مسؤولي المتابعة، وتفاوض على مستويات خدمة وحقوق خروج قابلة للقياس. لا توافق على عبارة عامة مثل «الدقة كافية». وقّع قرارًا يوضح الأخطاء المقبولة والمحظورة والمسؤول عنها. راجع ضوابط صلاحيات الوكلاء وتقارير الأدلة لمجلس الإدارة وإطار NIST لإدارة مخاطر AI. خطوة الشهر الأهم: كتابة شروط القبول قبل بدء التجربة المجانية.