أساسيات اختبار الذكاء الاصطناعي

لماذا يهم

قد تُخفق ميزات الذكاء الاصطناعي دون سطر واحد خاطئ في الشيفرة. فقد ينجح النموذج في كل عرض توضيحي، ثم يخطئ في توجيه معظم التذاكر المكتوبة بلغة كانت نادرة في بيانات تدريبه، أو يجيب إجابة مختلفة بعد إعادة تدريب لم يُعلَن عنها، أو يسوء أداؤه تدريجياً مع تغيّر سلوك العملاء. وحزمة الاختبارات التي لا تفحص إلا مسارات الشيفرة تبقى ناجحة طوال ذلك.

والخطر على المختبِر في الاتجاهين: أن يوافق على إصدار بناءً على دليل يُثبت أقل مما يبدو، كبضعة أمثلة منتقاة أو درجة قيست على بيانات غير ممثِّلة، أو ألا يستطيع أصلاً أن يحكم هل الإجابة الخاطئة عيب أم لا. ومعرفة ما يختلف تتيح لك جمع أدلة يثق بها الفريق، وكتابة تقارير عيوب يستطيع عالِم البيانات أن يعمل بها.

البرمجيات المبنية على القواعد وأنظمة تعلّم الآلة

في البرمجيات المبنية على القواعد يعود كل سلوك إلى متطلب وإلى شيفرة كتبها شخص ويمكن قراءتها. ولأي مدخل تستطيع أن تستنتج النتيجة المتوقعة من المواصفة، وإذا فشل اختبار فالعيب في الشيفرة أو الإعدادات أو المتطلب.

أما في نظام تعلّم الآلة فسلوك النموذج مُتعلَّم. يكتب المطورون مسار التدريب والشيفرة المحيطة بالنموذج، لكن أحداً لا يكتب القاعدة التي ترسل تذكرة بعينها إلى «الفوترة» (Billing): فهي تأتي من أنماط في بيانات التدريب، مخزّنة في معاملات رقمية لا تُقرأ كقواعد. وهذا هو السلوك المعتمد على البيانات: الشيفرة نفسها إذا دُرّبت على بيانات مختلفة صارت نظاماً مختلفاً.

• قواعد الكلمات المفتاحية: تذكرة نصها «I was charged twice» (خُصم المبلغ مني مرتين) تذهب إلى «أخرى» (Other)، لأنها لا تحتوي الكلمة المفتاحية «refund» مع أنها شكوى فوترة. العيب قاعدة ناقصة، والإصلاح قاعدة جديدة.
• نموذج تعلّم الآلة: التذكرة نفسها تذهب غالباً إلى «الفوترة»، لأن تذاكر مشابهة وُسمت بـ«الفوترة» في بيانات التدريب. لكن نوعاً جديداً من الشكاوى لا أمثلة مشابهة له قد يُوجَّه خطأً، والإصلاح بيانات أفضل لا سطر شيفرة جديد.
• كثير من المنتجات يجمع الاثنين: يقترح النموذج، وتقرّر القواعد ما يحدث بعد ذلك، كإرسال النتائج منخفضة الثقة إلى شخص.

السلوك الاحتمالي وغير الحتمي

الشيفرة المبنية على القواعد حتمية عادةً: المدخل نفسه في الحالة نفسها يعطي المخرج نفسه. وتضيف أنظمة تعلّم الآلة نوعين من عدم اليقين. فهي احتمالية: يعيد المصنِّف (Classifier) درجةً ويصيب في نسبة من المدخلات، لذا قد تكون إجابة خاطئة واحدة سلوكاً متوقعاً ما دام معدل الخطأ ضمن الحد المتفق عليه. وقد تكون أيضاً غير حتمية (Non-deterministic): المدخل نفسه قد يعطي مخرجات مختلفة.

ومعنى ذلك للاختبارات: سجّل إصدار النموذج وإصدار البيانات والإعدادات مع كل نتيجة؛ وحين يمكن أن يتباين المخرج، شغّل الحالة عدة مرات واحكم بنسبة النجاح؛ واختبر الشيفرة المحيطة بالنموذج اختباراً حتمياً باستبدال النموذج ببديل (Stub) يعيد درجات ثابتة. ولتعرف هل يختلف مخرجان للمدخل نفسه في المعنى أم في الصياغة فقط، قارن بينهما جنباً إلى جنب، بأداة Text Diff مثلاً. وإصدار النموذج الثابت يحسب عادةً الدرجات نفسها للمدخل نفسه، لذا يأتي التباين من المصادر التالية:

• أخذ العيّنات (Sampling): تختار النماذج التوليدية، مثل النماذج اللغوية الكبيرة (LLM)، كل رمز (Token) تالٍ، أي كلمة أو جزء من كلمة، من توزيع احتمالي، وتتحكم إعدادات مثل درجة الحرارة (Temperature) في مقدار تباين المخرجات.
• إعادة التدريب: يتضمن التدريب عادةً اختيارات عشوائية، مثل القيم الابتدائية وترتيب البيانات، لذا قد يجيب نموذج أُعيد تدريبه على البيانات نفسها عن بعض المدخلات إجابة مختلفة.
• تغييرات لا تتحكم فيها: يحدّث المزوّد نموذجاً مستضافاً، أو يتغيّر نظام ذاتي التعلّم كلما تعلّم من بيانات جديدة.
• فروق رقمية صغيرة بين إصدارات العتاد أو المكتبات، تكفي لنقل درجة من جانب العتبة (Threshold) إلى الجانب الآخر.

جرّبها: مقارنة النصوص (Diff)

بيانات التدريب مصدر السلوك

تؤدي بيانات التدريب في نظام تعلّم الآلة الدور الذي تؤديه المتطلبات والشيفرة في البرمجيات المبنية على القواعد. فكل نمط فيها يصبح سلوكاً، بما في ذلك فجواتها وأخطاؤها وتحيّزاتها. فإذا كانت تذاكر التدريب كلها تقريباً مكتوبة بالإنجليزية، فسيتعامل المصنِّف مع التذاكر العربية بضعف، مع أن الشيفرة لا تذكر اللغة إطلاقاً. وإذا صنّف من تولّوا وسم البيانات شكاوى التوصيل تحت «الفوترة»، فسيفعل النموذج الشيء نفسه.

وينطبق الأمر نفسه على بيانات الاختبار التي يُقيَّم بها النموذج: فالدرجة لا تصف إلا المجتمع الذي تمثّله تلك البيانات. لذا يجب أن تكون بيانات الاختبار ممثِّلةً لبيئة التشغيل، أي المدخلات والظروف التي يواجهها النظام في بيئة الإنتاج: اللغات واللهجات، والقنوات، والأجهزة، والمناطق، والفترات الزمنية، والحالات النادرة المهمة، بنسب واقعية. فمجموعة اختبار 95% منها بالإنجليزية لا تقول الكثير عن منتج يكتب معظم عملائه بالعربية، مهما ارتفعت الدرجة. وقبل أن تثق بأي تقييم، اسأل:

• أين ومتى جُمعت البيانات، وهل يطابق ذلك مكان تشغيل النظام وزمنه؟
• ما الفئات التي تحتويها، وبأي نسب مقارنةً ببيئة الإنتاج؟
• من تولّى وسمها، ووفق أي دليل مكتوب؟
• هل فُصلت بيانات الاختبار عن بيانات التدريب؟ يبيّن الدرس التالي كيف يضخّم التداخل بينهما الدرجات.

ما الذي يختلف في الاختبار

يصف التقرير الفني ISO/IEC TR ⁦29119-11⁩ ومنهج ISTQB لاختبار الذكاء الاصطناعي (CT-AI) خصائص تجعل اختبار الأنظمة المبنية على الذكاء الاصطناعي أصعب من اختبار الأنظمة المبنية على القواعد، ويعدّد إطار NIST لإدارة مخاطر الذكاء الاصطناعي (AI RMF) فروقاً مشابهة بين مخاطر الذكاء الاصطناعي ومخاطر البرمجيات التقليدية. وفي العمل اليومي تتغيّر ستة أمور:

• النتيجة المتوقعة مجهولة غالباً. ففي كثير من المدخلات لا يستطيع أحد أن يكتب المخرج الصحيح بدقة مسبقاً، وهذه مشكلة مرجع الاختبار (Test Oracle Problem). لذا يستخدم المختبِرون مراجع أخرى: وسوماً يتفق عليها أشخاص لمجموعة اختبار، ومراجع جزئية (Partial Oracles) لا تفحص إلا جزءاً من المخرج، مثل نطاقات من الإجابات المقبولة، وقواعد يجب ألا يخالفها المخرج أبداً.
• معايير القبول إحصائية. فعبارة «توجيه 90% من التذاكر على الأقل توجيهاً صحيحاً على مجموعة اختبار ممثِّلة، و85% على الأقل في كل لغة» تحل محل «تذهب هذه التذكرة إلى الفوترة». ونجاح حالة واحدة لا يثبت الكثير، وفشل حالة واحدة قد يكون ضمن معدل الخطأ المتفق عليه، ما لم تكن حالة يجب أن تنجح دائماً (Must-pass).
• قد تكمن العيوب في البيانات وفي إعداد النموذج: وسوم خاطئة، أو فئات غائبة، أو حقل مدخلات يكشف الإجابة، أو عتبة سيئة الاختيار. أبلغ عنها كأي عيب آخر، مع إصدار النموذج وإصدار مجموعة البيانات ضمن وصف البيئة.
• قد يغيّر الإصلاح السلوك في أي مكان. فإعادة التدريب لإصلاح فئة واحدة من المدخلات قد تغيّر إجابات فئات أخرى، لذا يُشغَّل كل إصدار جديد من النموذج على مجموعة الاختبار كاملةً ويُقارَن حالةً بحالة بالإصدار السابق.
• قد تتغيّر الجودة بعد الإصدار. فالمدخلات الحقيقية تنجرف (Drift) بعيداً عن بيانات التدريب، فقد يسوء أداء نموذج استوفى معاييره عند الإصدار دون أن يغيّره أحد، لذا يستمر الاختبار في صورة مراقبة في بيئة الإنتاج.
• تصبح خصائص جودة إضافية مهمة: التحيّز (Bias)، والمتانة (Robustness) أمام التغييرات الصغيرة في المدخلات، والشفافية، وقابلية التفسير (Explainability). وتتناولها دروس لاحقة في هذه الوحدة.

مثال تطبيقي: اختبار نظام توجيه تذاكر مبني على تعلّم الآلة

يستبدل فريق دعم قواعد الكلمات المفتاحية بمصنِّف تعلّم آلة يقرأ كل تذكرة، بالعربية أو الإنجليزية، ويعيد فئةً ودرجة ثقة (Confidence) بين 0 و1. والتذاكر التي تقل درجتها عن 0.70 تذهب إلى قائمة الفرز اليدوي. ويقسم المختبِر الخطة إلى فحوص تقليدية يُستبدل فيها النموذج ببديل (Stub)، وفحوص للنموذج على تذاكر حديثة موسومة.

معظم الخطة اختبار عادي. فالفحص C1 تحليل للقيم الحدّية على العتبة: الدرجات بمنزلتين عشريتين، لذا يختبر القيمتين على جانبَي 0.70. والفحوص من C2 إلى C4 اختبارات سلبية واختبارات لمعالجة الأخطاء وللحالات الحدّية، والفحص C5 يجعل كل قرار قابلاً لإعادة الإنتاج. ويمكن أن تأتي المدخلات متعددة اللغات للفحص C4 من مولّد بيانات اختبار؛ فهي تختبر مسار الشيفرة لا دقة النموذج، لأن النص المولَّد لا يمثّل العملاء الحقيقيين. ومستويات الاختبار ما زالت تنطبق: يُقيَّم النموذج كمكوّن، ويُختبر ربطه بنظام الدعم على مستوى التكامل، والمسار كاملاً على مستوى النظام والقبول، مع فحوص الأداء والأمان من الاختبار غير الوظيفي.

أما الجديد فهو الفحوص من M1 إلى M5: معايير على مجموعة، ونتائج لكل لغة، ومجموعة حالات يجب أن تنجح دائماً، وفحص أن بيانات الاختبار ما زالت تشبه بيئة الإنتاج، وفحص للاتساق. وللفحص M1 حدّان، لأن نموذجاً يرسل كل التذاكر تقريباً إلى قائمة الفرز اليدوي قد يجتاز حدّ الدقة لو كان هو الحدّ الوحيد. ومبادئ الاختبار تنطبق كذلك: فالدرجة العالية لا تثبت أن نظام التوجيه يعمل لكل عميل، لأن الاختبار يُظهر وجود العيوب لا غيابها، والاختبار الشامل للنص الحر مستحيل، ولهذا تهمّ بيانات الاختبار الممثِّلة إلى هذا الحد.

Feature: route support tickets with an ML classifier (Arabic and English)
Output: category + confidence 0.00..1.00 (2 decimals); below 0.70 -> human triage queue

Conventional checks (model replaced by a stub that returns fixed results)
  C1  stub returns 0.69 -> human queue; stub returns 0.70 -> category queue
  C2  model service gives no answer within 3 s -> human queue, error logged
  C3  empty ticket -> validation error, model not called
  C4  ticket mixing Arabic and English -> routed or queued, never an error
  C5  every decision stores ticket id, model version and confidence

Model checks (labelled test set: 2,000 tickets from the last 3 months)
  M1  >= 90% of auto-routed tickets in the correct category; <= 25% to the human queue
  M2  >= 85% for Arabic tickets and for English tickets, measured separately
  M3  0 of 40 "account locked" tickets routed to Other (must-pass)
  M4  language mix of the test set within 5 points of production
  M5  identical results on two runs of the same model version

جرّبها: مولّد القيم الحدّية جرّبها: مولّد بيانات اختبار متعددة اللغات

أسئلة شائعة

المراجع

• Certified Tester AI Testing (CT-AI) v2.0ISTQB · 2026منهج ISTQB التخصصي لاختبار الأنظمة المبنية على الذكاء الاصطناعي، ويشمل أنظمة تعلّم الآلة والذكاء الاصطناعي التوليدي.
• ISO/IEC TR 29119-11:2020 — Software and systems engineering — Software testing — Part 11: Guidelines on the testing of AI-based systemsISO/IEC · 2020تقرير فني عن خصائص الأنظمة المبنية على الذكاء الاصطناعي التي تجعل اختبارها صعباً، وعن مناهج اختبارها.
• AI Risk Management Framework (AI RMF 1.0)NIST · 2023إطار NIST الطوعي لإدارة مخاطر الذكاء الاصطناعي عبر دورة الحياة، مرتّباً في وظائف الحوكمة والتخطيط والقياس والإدارة.
• ISTQB Certified Tester Foundation Level (CTFL) v4.0ISTQB · 2023المنهج التأسيسي لاختبار البرمجيات: مستويات الاختبار وأنواعه وتقنيات تصميم الاختبارات وإدارة الاختبار والأدوات.