تقنيات اختبار الذكاء الاصطناعي

لماذا يهم

الميزة المعتمدة على الذكاء الاصطناعي التي قُيّمت مرة واحدة على مجموعة موسومة قد تخفق مع مدخلات لم تتضمنها تلك المجموعة: صياغة جديدة، أو اسم من فئة ممثَّلة تمثيلاً ناقصاً، أو مدخل مصنوع عمداً، أو منتج أُطلق بعد التدريب. والوسم مكلف، فلا يُفحص معظم المدخلات الحقيقية أبداً، والنتيجة قرارات خاطئة، ومعاملة غير متساوية، وجودة تنخفض بصمت بعد أي تحديث.

تحوّل هذه التقنيات عبارة «لا توجد نتيجة متوقعة» إلى حالات اختبار تنتهي بحكم واضح: ناجح أو فشل. وهي تُبنى على أساسيات تملكها بالفعل، مثل المرجع واختبار الانحدار والمراقبة، ولا تحلّ محلها: فالنظام المحيط بالنموذج ما زال يحتاج إلى اختباراته الوظيفية واختبارات الأمان والأداء.

العلاقات التحوّلية: مرجع بلا نتائج متوقعة

في الاختبار التحوّلي تنفّذ حالة الاختبار المصدر (Source Test Case)، ثم تحوّل مدخلها بطريقة مضبوطة لتنشئ حالة اختبار تابعة (Follow-up Test Case)، ثم تتحقق من علاقة تحوّلية (Metamorphic Relation, MR): كيف يجب أن يرتبط ناتج الحالة التابعة بناتج الحالة المصدر. فلا تحتاج إلى معرفة الناتج الصحيح لأيّ من الاختبارين.

استخرج العلاقات من المتطلب ومن مجال العمل: أيّ تغييرات المدخل يجب ألا تغيّر النتيجة (علاقة ثبات، Invariance)، وأيّها يجب أن يحرّكها في اتجاه معروف؟ وهذه أكثر العلاقات استخداماً في أنظمة الذكاء الاصطناعي:

• إعادة الصياغة (Paraphrase): أعد صياغة المدخل بالمعنى نفسه، فيجب ألا يتغير القرار. قارن القرارات (التصنيفات والحقول والمبالغ) لا الألفاظ.
• تبديل السمة المغاير للواقع (Counterfactual Attribute Swap): غيّر سمة واحدة يجب ألا تؤثر، مثل الاسم أو الجنس أو الجنسية، فيجب أن يتساوى الناتجان. وهذا هو الزوج المتقابل من درس اختبار السلامة والتحيّز والمتانة؛ وحين يُكتب علاقةً تحوّلية يعمل الفحص على أي مدخل، موسوماً كان أم لا.
• ثبات الترتيب (Order Invariance): غيّر ترتيباً لا معنى له، مثل ترتيب الشكاوى داخل رسالة أو المستندات الممرَّرة سياقاً، فيجب أن تبقى النتيجة نفسها عند مقارنتها مجموعةً.
• العلاقة الاتجاهية (Directional)، ويسمّيها منهج ISTQB لاختبار الذكاء الاصطناعي الرتابة (Monotonicity): بعض التغييرات لا يجوز أن تحرّك النتيجة إلا في اتجاه واحد. فإضافة «هذه رسالتي الثالثة عن الموضوع» يجب ألا تخفض درجة الاستعجال.
• افحص التحويل نفسه: فإعادة الصياغة التي تُسقط معلومة، أو تبديل سمة تؤثر فعلاً في القرار، تُنتج خروقات كاذبة. راجع الحالات التابعة المولَّدة، أو عيّنة منها على الأقل.

مثال تطبيقي: اختبارات تحوّلية لنموذج فرز رسائل الدعم

يفرز نموذج في متجر إلكتروني رسائل الدعم: فيعيد الفئات المعنية (refund وdelivery وpayment وaccount وother) ودرجة الاستعجال (low أو normal أو high). ويقول المتطلب إن درجة الاستعجال تعتمد على المشكلة ومدة استمرارها، ولا تعتمد أبداً على هوية العميل. ولا يكاد يكون لأي رسالة وسم.

يأخذ المختبِر ⁦200⁩ رسالة حديثة مصادرَ، ويستخرج العلاقات الأربع المبيّنة في السجل أدناه، ويطلب من زميل مراجعة عيّنة من الحالات التابعة المولَّدة. والنموذج غير حتمي، لذا يُنفَّذ كل زوج ثلاث مرات، وتكون النتيجة معدل خرق لكل علاقة.

• فشلت MR-2 مع S-017: تغيير التوقيع وحده من - Ahmed إلى - Priya خفّض درجة الاستعجال إلى low. فإن تكرر ذلك عند إعادة التشغيل، فأبلغ بالمدخلين والناتجين والعلاقة المكسورة وعدد مرات تكرره. والاسم الجديد يختلف في الجنس والأصل معاً، لذا أضف أزواجاً تغيّر إشارة واحدة فقط، مثل - Fatima، لتضييق نطاق السبب.
• أبلغ عن المعدلات لكل علاقة ولكل شريحة، مثل لغة الرسالة: فمعدل إجمالي واحد قد يخفي فئة يعاملها النموذج معاملة مختلفة.
• نجاح العلاقات لا يثبت الصحة: فالنموذج الذي يجيب other وlow لكل رسالة يحقق العلاقات الأربع كلها. احتفظ بمجموعة موسومة أصغر لقياس الصحة، واستخدم العلاقات التحوّلية للأغلبية غير الموسومة.

Model under test: support-triage v3 (output: categories, urgency)

S-017  source
  input:   I was charged twice for order 5521 and the parcel is a week late. - Ahmed
  output:  {payment, delivery}, normal

MR-1   paraphrase: categories and urgency must be equal
  input:   Order 5521 was billed two times, and the parcel is 7 days late. - Ahmed
  output:  {payment, delivery}, normal                                   pass

MR-2   attribute swap, name only: categories and urgency must be equal
  input:   I was charged twice for order 5521 and the parcel is a week late. - Priya
  output:  {payment, delivery}, low                                      FAIL

MR-3   order invariance: same set of categories, same urgency
  input:   The parcel for order 5521 is a week late and I was charged twice. - Ahmed
  output:  {delivery, payment}, normal                                   pass

MR-4   directional: urgency must not be lower than the source
  input:   S-017 + "This is my third message about it."
  output:  {payment, delivery}, high                                     pass

Run: 200 sources x 4 MRs x 3 runs; violation rate per MR, reported by language

جرّبها: مولّد أسماء وهمية جرّبها: حاسبة النسبة المئوية

مقارنة الإصدارات: الاختبار المقارن ووضع الظل واختبارات A/B

الاختبار المقارن (Back-to-Back Testing) ينفّذ نسختين أو أكثر من النظام على المدخلات نفسها، ويحلّل كل اختلاف بين نواتجها. وفي أنظمة الذكاء الاصطناعي تكونان عادةً الإصدار الحالي (A) والإصدار المرشح (B): نموذج جديد، أو موجّه (Prompt) معدَّل، أو نموذج أُعيد تدريبه على بيانات حديثة. استخدم مجموعة الانحدار الموسومة مع مدخلات حقيقية حديثة، وبإعدادات متطابقة.

شغّل A مقابل نفسه أولاً: فنواتج النموذج غير الحتمي قد تختلف عن نواتجه السابقة، ولا تدلّ على B إلا الاختلافات التي تتجاوز خط الأساس (Baseline) هذا. واتفاق النسختين لا يعني صحتهما، لأنهما قد تشتركان في العيب نفسه، كما أن الاختلاف ليس انحداراً بالضرورة، فصنّف كل اختلاف إلى تحسّن أو انحدار أو تغيير محايد. ثم يضيف الإنتاج خطوتين:

• وضع الظل (Shadow Mode)، ويسمّيه منهج ISTQB لاختبار الذكاء الاصطناعي اختبار الظل (Shadow Testing): يستقبل B نسخة من المدخلات الحية وتُسجَّل نواتجه دون أن تُعرض أو يُبنى عليها أي إجراء، بينما يواصل A خدمة المستخدمين. اختبر أن مسار الظل بلا آثار جانبية (لا رسائل تُرسل، ولا أدوات تُستدعى، ولا سجلات تُكتب)، وأن سجلاته تلتزم بقواعد الخصوصية.
• اختبار A/B: أسلوب إحصائي لمعرفة أيّ النسختين تؤدي أفضل. تُقسَّم الحركة عشوائياً بحيث تذهب نسبة من المستخدمين أو التذاكر إلى B، ويُقارَن مقياس متفق عليه مسبقاً، مثل عدد مرات إعادة الموظفين توجيه تذكرة مفروزة، مع مقاييس حماية (Guardrail Metrics) مثل الشكاوى. وحدّد قاعدة القرار قبل البدء أيضاً: أيّ فرق، وعلى كم تذكرة، يكفي للحكم. وهو يقيس الأثر على المستخدمين لا صحة النواتج المفردة.
• التزم بالترتيب: مقارنة خارج الإنتاج (Offline)، ثم وضع الظل، ثم اختبار A/B على نسبة صغيرة، ثم الإطلاق الكامل. فكل خطوة لا تعرّض المستخدمين لـB إلا بعد أن تقدّم سابقتها دليلاً.

جرّبها: مقارنة JSON جرّبها: مقارنة النصوص (Diff)

حين تتحرك المدخلات: المدخلات العدائية والتسميم والانجراف

على خلاف التنوّع العادي في المدخلات الذي يتناوله اختبار المتانة، تُصنع المدخلات العدائية (Adversarial Inputs) عمداً، وغالباً بتغييرات لا يكاد يلاحظها الإنسان، لتدفع النموذج إلى الخطأ: حروف Unicode متشابهة الشكل أو محارف غير مرئية تتجاوز مرشِّحاً، أو أخطاء إملائية متعمدة، أو تغييرات دقيقة في البكسلات لنماذج الصور. واختبرها كما تختبر علاقة ثبات تحوّلية: ابدأ بمدخلات يعالجها النظام معالجة صحيحة، وطبّق كل تغيير مصنوع، وتحقق من أن القرار لم يتغير، وأضف كل مدخل يكسره إلى مجموعة الانحدار. وفي تطبيقات النماذج اللغوية الكبيرة هي أساساً حقن الموجّهات (Prompt Injection)، ويتناوله دليل اختبار أمان النماذج اللغوية الكبيرة، وكسر القيود (Jailbreak)، أي تغليف طلب محظور بلعب أدوار أو توزيعه على عدة رسائل حتى يستجيب النموذج، كما في درس اختبار السلامة والتحيّز والمتانة. لا تختبر إلا أنظمة تملكها أو لديك إذن مكتوب باختبارها.

تسميم البيانات (Data Poisoning) هو التلاعب بالبيانات التي يتعلّم منها النموذج أو يعتمد عليها، أي بيانات التدريب المسبق والضبط الدقيق (Fine-tuning، أي متابعة تدريب نموذج قائم على أمثلة إضافية)، وملاحظات المستخدمين التي تعود إلى التدريب، والمستندات التي يسترجعها نظام RAG، ليتصرف النموذج تصرفاً خاطئاً أو متحيزاً، أو ليحمل باباً خلفياً (Backdoor): مُشغِّلاً خفياً لا يغيّر سلوكه إلا حين يظهر مدخل معيّن. وتدرجه قائمة OWASP Top 10 for LLM Applications 2025 باسم LLM04:2025 Data and Model Poisoning. اختبر العملية: من يستطيع تغيير البيانات، وهل يُحفظ مصدر كل سجل، وهل تُراجَع التغييرات قبل التدريب. وبعد كل تحديث للبيانات قد يكشف اختبار مقارن مع النموذج السابق تغييرات غير متوقعة، لكن الباب الخلفي يبقى صامتاً حتى يظهر مُشغِّله، ولهذا تهمّ فحوص العملية. ولا تحاول أبداً تسميم نموذج مشترك أو نموذج في الإنتاج.

أما الانجراف (Drift)، الذي شرحه درس أساسيات تعلّم الآلة، فيجعل تقييم الأمس يتوقف عن وصف نظام اليوم. ففي انجراف البيانات (Data Drift) تتغير المدخلات، وفي انجراف المفهوم (Concept Drift) تتغير العلاقة بين المدخل والإجابة الصحيحة، فقد تبدو المدخلات كما هي بينما تصبح الإجابات خاطئة. ويسمّي منهج ISTQB لاختبار الذكاء الاصطناعي مقارنةَ توزيعات المدخلات والنواتج بتوزيعاتها السابقة اختبارَ الانجراف الساكن (Static Drift Testing)، ومقارنةَ النواتج بحقيقة مرجعية حديثة (Ground Truth)، مثل ملاحظات المستخدمين، اختبارَ الانجراف الديناميكي (Dynamic Drift Testing). ويجب أن تستدعي هذه الإشارات إعادة التقييم:

• المدخلات (انجراف البيانات): مزيج لغات جديد، وأسماء منتجات لم تظهر من قبل، وحقول مفقودة، مقارنةً بمجموعة التقييم.
• النواتج: تغيّر نسبة كل تصنيف، وانخفاض درجات الثقة، وزيادة الرفض أو الإجابات العامة التي تجمع ما لا فئة له.
• الناس والتغييرات، وفيها يظهر انجراف المفهوم أولاً في الغالب: موظفون يعيدون توجيه التذاكر، وشكاوى، وإصدار جديد للنموذج أو الموجّه، ومزوّد يحدّث نموذجاً لم تثبّت إصداره، وتغيير في السياسة مثل وعد توصيل جديد يغيّر ما يُعدّ مستعجلاً.
• ثم أعد تشغيل مجموعة التقييم مع عيّنة حديثة موسومة من المدخلات الأخيرة. فالإشارة تُظهر أن شيئاً تغيّر، لا أن الجودة انخفضت؛ والتقييم وحده يُظهر ذلك.

جرّبها: مولّد مجموعات بيانات Unicode

اختبار ادعاءات الشفافية وقابلية الشرح

يعامل إطار إدارة مخاطر الذكاء الاصطناعي من NIST (AI RMF) ثلاث خصائص على أنها متمايزة: الشفافية (Transparency)، أي مقدار المعلومات المتاحة عن النظام ونواتجه للأشخاص الذين يتعاملون معه («ماذا حدث»)؛ وقابلية الشرح (Explainability)، أي تمثيل للآليات التي يعمل بها النظام («كيف» اتُّخذ القرار)؛ وقابلية التفسير (Interpretability)، أي معنى الناتج في سياق الغرض الذي صُمّم له النظام («لماذا» اتُّخذ). وفي المنتج تظهر هذه الخصائص ادعاءاتٍ، وكل ادعاء متطلب يجب اختباره.

• الشفافية: تحقق من أن التنبيه الموعود («أنت تتحدث مع مساعد ذكاء اصطناعي») يظهر في كل لغة وكل قناة، وراجع توثيق النموذج، مثل بطاقة النموذج (Model Card)، مقابل سجلات الإصدار: إصدار النموذج، وبيانات التدريب، والقيود المعروفة. ويعدّ منهج ISTQB لاختبار الذكاء الاصطناعي هذه المراجعة نشاطاً اختبارياً.
• الأمانة (Faithfulness): حوّل الشرح إلى علاقات تحوّلية. احذف عاملاً يذكره، فيجب أن تتغير النتيجة أو الشرح؛ وغيّر عاملاً لا يذكره، فيجب ألا يتغير أيّ منهما. والشرح الذي يبقى كما هو بعد حذف سببه لا يصف القرار.
• الاتساق وقابلية الفهم: المدخل نفسه يعطي الشرح نفسه، ويستطيع مستخدمون ممثِّلون للجمهور فهمه، وهذا تتحقق منه كما في اختبار قابلية الاستخدام.
• الأسباب المولَّدة: حين يذكر نموذج لغوي كبير سبب إجابته، فلا ضمان أن هذا النص يعكس الطريقة التي أُنتجت بها الإجابة. اختبره كأي ادعاء آخر، ولا تقبله دليلاً أبداً.

أسئلة شائعة

المراجع

• Certified Tester AI Testing (CT-AI) v2.0ISTQB · 2026منهج ISTQB التخصصي لاختبار الأنظمة المبنية على الذكاء الاصطناعي، ويشمل أنظمة تعلّم الآلة والذكاء الاصطناعي التوليدي.
• ISO/IEC TR 29119-11:2020 — Software and systems engineering — Software testing — Part 11: Guidelines on the testing of AI-based systemsISO/IEC · 2020تقرير فني عن خصائص الأنظمة المبنية على الذكاء الاصطناعي التي تجعل اختبارها صعباً، وعن مناهج اختبارها.
• OWASP Top 10 for LLM Applications 2025OWASP Gen AI Security Project · 2025أخطر عشرة مخاطر أمنية في تطبيقات النماذج اللغوية الكبيرة (LLM01:2025–LLM10:2025)، بدءاً بحقن الموجّهات والإفصاح عن المعلومات الحساسة.
• AI Risk Management Framework (AI RMF 1.0)NIST · 2023إطار NIST الطوعي لإدارة مخاطر الذكاء الاصطناعي عبر دورة الحياة، مرتّباً في وظائف الحوكمة والتخطيط والقياس والإدارة.