أساسيات تعلّم الآلة للمختبِرين

لماذا يهم

كثير من عيوب تعلّم الآلة لا يظهر في الشيفرة أصلاً. فقد يتعلّم النموذج من بيانات موسومة خطأً أو غير ممثِّلة، أو يُقيَّم على بيانات رآها من قبل، أو يُحكم عليه بمقياس يخفي الأخطاء المهمة. عندها يبدو تقرير التقييم ممتازاً بينما يواجه المستخدمون الحقيقيون احتيالاً فائتاً، أو عملاء محجوبين دون سبب، أو فئة من المستخدمين تُخدَم أسوأ بكثير من غيرها.

وبهذه الأساسيات يستطيع المختبِر أن يسائل التقييم بدلاً من أن يقبل رقمه: من أين جاءت بيانات الاختبار؟ هل تتداخل مع بيانات التدريب؟ أيّ الأخطاء مكلف؟ وكيف يؤدي النموذج لكل فئة من المستخدمين؟

ثلاثة أنواع من التعلّم وسير عمل واحد

يمرّ العمل في تعلّم الآلة بسير عمل (Workflow) يصفه منهج ISTQB لاختبار الذكاء الاصطناعي (CT-AI) بخطوات أدق: تحديد الهدف ومعايير القبول، وجمع البيانات ووسمها، وتجهيزها وتقسيمها، وتدريب نموذج، وتقييمه وضبطه على بيانات التحقق من الصلاحية، واختبار النموذج النهائي مرة واحدة على بيانات الاختبار، ثم نشره ومراقبته وإعادة تدريبه حين تتغير البيانات. وكل خطوة تعطي المختبِر شيئاً يراجعه: فالهدف أساس اختبار، ومجموعة البيانات منتَج عمل، والتقييم نتيجة اختبار.

وتختلف أنواع التعلّم فيما يتعلّم منه النموذج، وهذا ما يحدد ما يقارن به الاختبار مخرجاته:

• التعلّم الخاضع للإشراف (Supervised Learning): يتعلّم النموذج من أمثلة موسومة، أي مدخلات مقرونة بالإجابة الصحيحة (الوسم، Label). فالتصنيف (Classification) يتنبّأ بفئة (احتيال أو سليمة)، والانحدار الإحصائي (ML Regression) برقم (مدة التوصيل)، ولا علاقة له باختبار الانحدار. وتؤدي بيانات الاختبار الموسومة دور مرجع الاختبار (Test Oracle). والمقاييس في هذا الدرس خاصة بالتصنيف؛ أما نموذج الانحدار فيُحكم عليه بحجم أخطائه، مثل عدد الدقائق التي يبتعد بها تنبّؤه عن مدة التوصيل الفعلية.
• التعلّم غير الخاضع للإشراف (Unsupervised Learning): لا وسوم، ويكتشف النموذج بنيةً في البيانات، مثل مجموعات من العملاء المتشابهين أو معاملات غير معتادة. ولغياب مفتاح الإجابات يعتمد التقييم على مراجعة الخبراء لعيّنات، أو فحص ثبات النتائج، أو وسم عيّنة لاحقاً.
• التعلّم المعزَّز (Reinforcement Learning): يتعلّم وكيل (Agent) بالتصرف في بيئة وتلقّي مكافآت أو عقوبات، مثل روبوت يتعلّم مسارات مستودع. وتتحقق الاختبارات من أن المكافأة تصف السلوك المطلوب، لأن الوكيل قد يجد طرقاً غير مقصودة لكسبها، ومن سلوكه في مواقف لم يصادفها أثناء التدريب.

مجموعات التدريب والتحقق من الصلاحية والاختبار

تُقسَّم البيانات الموسومة إلى ثلاث مجموعات. يتعلّم النموذج من مجموعة التدريب (Training Set). وتُستخدم مجموعة التحقق من الصلاحية (Validation Set) أثناء التطوير لمقارنة النماذج وضبط الإعدادات واختيار العتبة. أما مجموعة الاختبار (Test Set) أو المجموعة المحجوزة (Hold-out Set) فتُحفظ جانباً وتُستخدم مرة واحدة بعد اتخاذ كل القرارات، لتقدير الأداء على بيانات لم يرها النموذج. وتستعمل بعض الفرق الاسمين «validation» و«test» بالعكس، فاسأل من أي مجموعة جاء الرقم المُبلَّغ عنه.

وتوجد مجموعات منفصلة لأن النموذج قد يلائم بيانات تدريبه أكثر من اللازم. ففرط الملاءمة (Overfitting) يعني أنه تعلّم الضجيج والمصادفات في عيّنته، كأن يتعلّم أن بضعة معرّفات تجّار ظهرت مصادفةً في حالات احتيال: فيحقق درجة عالية على بيانات التدريب وأقل بوضوح على بيانات التحقق من الصلاحية. ونقص الملاءمة (Underfitting) هو العكس: النموذج أبسط من اللازم أو مدخلاته تحمل معلومات قليلة، فيكون ضعيفاً على المجموعتين.

ولا تكون درجة الاختبار صادقة إلا إذا لم تؤثر بيانات الاختبار في التدريب ولا في أي قرار اتُّخذ أثناء التطوير. وإلا فهو تسرّب البيانات (Data Leakage)، وتبالغ الدرجة فيما سيحصل عليه المستخدمون. ومن صوره الشائعة:

• السجلات المكررة أو شبه المكررة عبر المجموعات: البريد نفسه مُعاد توجيهه مرتين، أو الصورة نفسها بحجم مختلف.
• العميل نفسه على الجانبين، فيتعرّف النموذج على العميل بدلاً من أن يتعلّم الاحتيال.
• تقسيم عشوائي لبيانات مرتبة زمنياً، فيتعلّم النموذج من المستقبل؛ درّب على السجلات الأقدم واختبر على الأحدث.
• سمة (Feature)، أي حقل مُدخَل يتعلّم منه النموذج، تحمل الإجابة، مثل تاريخ استرداد المبلغ (Chargeback) الذي لا يُملأ إلا بعد تأكيد الاحتيال.
• قرارات اتُّخذت بمساعدة مجموعة الاختبار: تجهيز حُسب على كل السجلات قبل التقسيم، مثل ملء القيم المفقودة بمتوسط محسوب على جميع السجلات، أو ضبط متكرر حتى تبدو درجة الاختبار جيدة.

بيانات ممثِّلة ونظيفة وموسومة بشكل صحيح

يتعلّم النموذج كل ما في بياناته، لذا فمراجعة البيانات نشاط اختبار كمراجعة المتطلبات. اسأل أولاً: هل تمثّل البيانات بيئة التشغيل، أي الظروف التي سيواجهها النموذج في الإنتاج؟ فبيانات من منطقة واحدة أو نوع أجهزة أو موسم أو لغة واحدة، أو من قبل تغيير في المنتج، قد تختلف عمّا يرسله المستخدمون: وهذا انزياح التوزيع (Distribution Shift). ويستمر بعد الإصدار في صورة انجراف البيانات (Data Drift) حين تتغير المدخلات (طريقة دفع جديدة)، وانجراف المفهوم (Concept Drift) حين تتغير العلاقة بين المدخلات والإجابة الصحيحة (تغيير المحتالين أساليبهم). اسأل كيف ومتى سُحبت عيّنة الاختبار، وقارنها ببيانات الإنتاج، وتأكّد من أن النموذج ستتم مراقبته بعد الإصدار.

ثم اقرأ بنفسك عيّنة عشوائية من السجلات، لا الإحصاءات الموجزة فقط، وابحث عن ثلاثة أنواع من العيوب:

• جودة البيانات: قيم مفقودة، وتكرار، ووحدات أو صيغ خاطئة، وقيم خارج النطاق، وفئات غير متسقة مثل «KSA» و«Saudi Arabia» و«SA» في عمود واحد. حوّل عيّنة بصيغة CSV بأداة CSV to JSON مع تفعيل استنتاج الأنواع (Type Inference) لتبقى الأرقام أرقاماً، ثم الصق الناتج في أداة API Response Analyzer لتعرض الحقول الفارغة والحقول ذات القيمة null، والحقول التي يتغير نوعها بين السجلات، والسجلات المكررة.
• أخطاء الوسم: وسوم خاطئة، أو موسِّمون مختلفون فيما بينهم، أو إرشادات غامضة. فالوسم الخاطئ في التدريب يعلّم سلوكاً خاطئاً، وفي الاختبار يجعل المقياس نفسه خاطئاً. اسأل كيف حُسمت الخلافات، وأعد فحص عيّنة.
• تحيّز البيانات (Data Bias): فئات ممثَّلة تمثيلاً ناقصاً (عدد قليل من المراجعات العربية في مصنِّف للمراجعات)، أو وسوم تكرر قرارات بشرية سابقة (موافقات قروض سابقة). فيكون أداء النموذج أضعف، أو غير منصف، لهذه الفئات؛ ويتناول درس لاحق التحيّز بعمق.

جرّبها: محوّل CSV إلى JSON جرّبها: محلّل استجابات API

مصفوفة الالتباس ومقاييسها

لتقييم مصنِّف (Classifier) قارن كل تنبّؤ على بيانات محجوزة بوسمه. وعند وجود فئتين تُسمى الفئة التي تبحث عنها إيجابية (الاحتيال) والأخرى سلبية (السليمة). فيكون كل تنبّؤ إيجابياً صحيحاً (TP، احتيال مُعلَّم)، أو سلبياً كاذباً (FN، احتيال فائت)، أو إيجابياً كاذباً (FP، دفعة سليمة مُعلَّمة)، أو سلبياً صحيحاً (TN، دفعة سليمة مُمرَّرة). وجدول هذه الأعداد الأربعة هو مصفوفة الالتباس.

الدقة (Accuracy) نسبة التنبؤات الصحيحة من الكل. والإحكام (Precision) نسبة الحالات المُعلَّمة التي هي إيجابية فعلاً: حين يُطلق النموذج إنذاراً، كم مرة يصيب؟ والاستدعاء (Recall) نسبة الحالات الإيجابية الحقيقية التي يلتقطها: كم من المشكلة يكتشف؟ ومقياس F1، وهو المتوسط التوافقي للاثنين، لا يرتفع إلا إذا ارتفعا معاً.

وفي الدقة فخّ. فحين تكون إحدى الفئتين نادرة، يحقق نموذج يجيب دائماً «سليمة» دقة عالية دون أن يلتقط شيئاً. فأدناه ⁦95%⁩ من المدفوعات سليمة، فيبلغ ذلك النموذج عديم الفائدة ⁦95%⁩، ولا تتفوق دقة النموذج الحقيقي البالغة ⁦96.5%⁩ عليه إلا بـ⁦1.5⁩ نقطة مئوية. وفي البيانات غير المتوازنة اطلب توازن الفئات ومصفوفة الالتباس وخط أساس (Baseline) للمقارنة.

Validation set: 2,000 card payments, 100 of them fraud (5%). Threshold 0.5.

                            Predicted: fraud   Predicted: legitimate
Actual: fraud (100)              TP = 60             FN = 40
Actual: legitimate (1,900)       FP = 30             TN = 1,870

Accuracy  = (TP + TN) / all     = 1,930 / 2,000 = 96.5%
Precision = TP / (TP + FP)      =    60 / 90    = 66.7%
Recall    = TP / (TP + FN)      =    60 / 100   = 60.0%
F1        = 2 x P x R / (P + R)                 = 63.2%

Baseline that always answers "legitimate": accuracy 95.0%, recall 0.0%

جرّبها: حاسبة النسبة المئوية

مثال تطبيقي: اختر العتبة بحسب التكلفة وافحص كل شريحة

يعطي نموذج الاحتيال كل دفعة درجة من ⁦0⁩ إلى ⁦1⁩ ويؤشّر عليها إذا بلغت العتبة أو تجاوزتها. وخفض العتبة يؤشّر على دفعات أكثر: فيرتفع الاستدعاء أو يبقى كما هو، وينخفض الإحكام عادةً. واختيار العتبة قرار عمل يُبنى على تكلفة كل نوع من الأخطاء. وهنا يقدّر مالك المنتج أن الاحتيال الفائت يكلّف ⁦400⁩ ريال في المتوسط، والإنذار الكاذب ⁦25⁩ ريالاً من وقت المراجعة وإزعاج العميل.

عند ⁦0.3⁩ يطلق النموذج أربعة أضعاف الإنذارات الكاذبة التي يطلقها عند ⁦0.5⁩، ومع ذلك تنخفض تكلفة الأخطاء من ⁦16,750⁩ إلى ⁦9,000⁩ ريال، فتكون ⁦0.3⁩ الأفضل بهذه التكاليف، بشرط أن يستطيع فريق المراجعة التعامل مع ⁦205⁩ دفعات مُعلَّمة من كل ⁦2,000⁩ بدلاً من ⁦90⁩. ولو كان الإنذار الكاذب يحجب الدفعة مباشرةً لارتفعت تكلفته وقد تتغير الإجابة. سجّل التكاليف والمنطق، ثم قِس العتبة المختارة مرة واحدة على مجموعة الاختبار.

ثم فكّك النتيجة عند كل عتبة تقارنها. فعند ⁦0.5⁩ يبلغ الاستدعاء الإجمالي ⁦60%⁩، لكنه ⁦40%⁩ للحسابات التي عمرها أقل من ⁦30⁩ يوماً (⁦10⁩ من ⁦25⁩ حالة احتيال) مقابل ⁦66.7%⁩ للحسابات الأقدم: لقد أخفى رقم واحد أضعف فئة. احسب المقاييس لكل شريحة (Segment) مهمة، مثل اللغة أو المنطقة أو الجهاز أو المستخدمين الجدد، مع حجم العيّنة: فـ⁦25⁩ حالة عيّنة صغيرة، ونسبة ⁦40%⁩ إشارة تستدعي التحقيق لا قيمة دقيقة.

Validation set: 2,000 payments, 100 fraud. Cost: FN = 400 SAR, FP = 25 SAR.

Threshold  TP  FN   FP     TN  Precision  Recall  Cost of errors (SAR)
0.5        60  40   30  1,870      66.7%   60.0%  40 x 400 +  30 x 25 = 16,750
0.3        85  15  120  1,780      41.5%   85.0%  15 x 400 + 120 x 25 =  9,000

Recall by segment at 0.5   Fraud cases  TP  FN  Recall
Accounts < 30 days old              25  10  15   40.0%
Accounts >= 30 days old             75  50  25   66.7%

أسئلة شائعة

المراجع

• Certified Tester AI Testing (CT-AI) v2.0ISTQB · 2026منهج ISTQB التخصصي لاختبار الأنظمة المبنية على الذكاء الاصطناعي، ويشمل أنظمة تعلّم الآلة والذكاء الاصطناعي التوليدي.
• ISO/IEC TR 29119-11:2020 — Software and systems engineering — Software testing — Part 11: Guidelines on the testing of AI-based systemsISO/IEC · 2020تقرير فني عن خصائص الأنظمة المبنية على الذكاء الاصطناعي التي تجعل اختبارها صعباً، وعن مناهج اختبارها.
• AI Risk Management Framework (AI RMF 1.0)NIST · 2023إطار NIST الطوعي لإدارة مخاطر الذكاء الاصطناعي عبر دورة الحياة، مرتّباً في وظائف الحوكمة والتخطيط والقياس والإدارة.