اختبار RAG: الاسترجاع والاستناد والاستشهادات

الخطوة 1: الاسترجاع. الاستدعاء عند 5 هو عدد المقاطع الملائمة ضمن أفضل 5 مقسوماً على عدد كل المقاطع الملائمة؛ والدقة عند 5 هي عدد المقاطع الملائمة ضمن أفضل 5 مقسوماً على 5؛ والرتبة العكسية هي 1 مقسوماً على رتبة أول مقطع ملائم. ct-01: الاستدعاء ⁦2/2 = 1.0⁩، والدقة ⁦2/5 = 0.4⁩، والرتبة العكسية 1. ct-02: صفر في الثلاثة. ct-03: الاستدعاء ⁦1/1 = 1.0⁩، والدقة ⁦1/5 = 0.2⁩، والرتبة العكسية 1. ct-04: صفر في الثلاثة. ct-05: الاستدعاء 1.0، والدقة 0.2، والرتبة العكسية ⁦1/2 = 0.5⁩، لأن مقطع الإصدار v1 الملغى يأتي قبل مقطع v2. ct-08: صفر في الثلاثة. المتوسطات على الحالات الست: ⁦Recall@5 = 3/6 = 0.50⁩، و⁦Precision@5 = 0.8/6 ≈ 0.13⁩، و⁦MRR = 2.5/6 ≈ 0.42⁩. ولكل لغة: الإنجليزية، خمس حالات، ⁦Recall@5 = 3/5 = 0.60⁩ و⁦Precision@5 = 0.8/5 = 0.16⁩ و⁦MRR = 2.5/5 = 0.50⁩؛ والعربية، حالة واحدة، صفر في المقاييس الثلاثة. والحالة العربية الواحدة إخفاق واحد ملاحَظ، لا قياس لاسترجاع الأسئلة العربية.

اقرأ الأرقام قبل أن تبلغ عنها. حين يوجد مقطع ملائم واحد فقط تكون أعلى دقة ممكنة عند 5 هي 0.2، فلا مشكلة دقة في ct-03 وct-05؛ والرقم المهم هو الاستدعاء عند قيمة k التي تُمرَّر فعلاً إلى النموذج، لأن المقطع الذي لا يُسترجع لا يمكن استخدامه. وللحالات الثلاث التي فاتها المقطع الملائم ثلاثة أسباب مختلفة: سؤال عربي على مستند إنجليزي (ct-02)، ومقطع يكرر كلمات السؤال نفسها (make-up exams are held) ومع ذلك لا يظهر ضمن أفضل 5 في بحث يشمل المطابقة بالكلمات المفتاحية (ct-04)، ومقطع بلا نص إطلاقاً (ct-08)؛ والمتوسط الواحد يخفي الأسباب الثلاثة. أما ct-06 وct-07 فلا مقطع ملائماً فيهما لهذا المستخدم، فيصبح حساب الاستدعاء قسمة على صفر، وتكون الدقة عند 5 والرتبة العكسية صفراً أياً كانت المقاطع المسترجعة، وإدخالهما في المتوسط لا يفعل إلا أن يخفضه؛ لذلك تُقيَّمان بالسلوك.

الخطوة 2: أين يقع كل عيب. ct-01: مقاطع صحيحة وإجابة صحيحة، أي نجاح. ct-03: المقطع الصحيح في الرتبة الأولى والإجابة خاطئة، أي عيب توليد: المقطع يقول 3 أيام عمل والإجابة تقول 5. ct-05: استُرجع مقطع v2 الملائم وبقيت الإجابة خاطئة، أي عيب توليد، لأن الإجابة اتبعت الأقدم من مقطعين متعارضين خلافاً لقاعدة الأسبقية الموثّقة ولم تذكر التعارض؛ ووراءه عيب إدخال، لأن مقطع v1 كان يجب ألا يبقى في الفهرس. ct-02: مقاطع خاطئة وإجابة خاطئة، أي عيب استرجاع للأسئلة العربية على المستندات الإنجليزية. ct-08: مقاطع خاطئة وإجابة خاطئة، أي عيب إدخال: فُهرس الجدول نصاً فارغاً، فلا يستطيع أي استعلام أن يسترجعه. ct-04: مقاطع خاطئة وإجابة صحيحة، أي أن النموذج أجاب من افتراضاته عن طريقة عمل الجامعات؛ أصاب هنا مصادفةً، وسيجيب بالثقة نفسها حين تختلف قاعدة هذه الجامعة. ولا يستطيع تغيير الموجّه أن يصلح إلا جزء التوليد: ct-03، والأسبقية في ct-05، والإجابات غير المدعومة في ct-02 وct-04 وct-06، التي يجب أن تصبح «غير موجود» حين لا يدعمها أي مقطع مسترجع. ولا يصلح المقاطع التي فاتها الاسترجاع (ct-02 وct-04)، ولا الفهرس القديم (ct-05)، ولا الجدول الفارغ (ct-08)، ولا تسرّب الصلاحيات (ct-07).

الخطوة 3: الاستناد إلى المصادر والاستشهادات. ct-01: كل معلومة (10 كتب، و21 يوماً، والتجديد مرتين) موجودة في lib-01#c1 أو lib-01#c2؛ والمعرّفان المستشهد بهما موجودان واستُرجعا ويدعمان جملتيهما، أي نجاح. ct-02: مدة 14 يوماً لا تظهر في أي مقطع مسترجع (والقاعدة 21 يوماً)، والجملة الواقعية بلا استشهاد، فيفشل فحص «لكل جملة واقعية استشهاد»؛ والإجابة بالعربية كما يجب، فالخطأ في محتواها فقط. ct-03: يجتاز الاستشهاد الفحصين الحتميين، فالمقطع exm-03#c4 موجود واستُرجع، ويفشل في فحص الدعم لأن المقطع يقول 3 أيام عمل؛ ولهذا فالفحوص الحتمية للاستشهادات ضرورية لكنها غير كافية. ct-04: المقطع exm-03#c4 موجود واستُرجع لكنه لا يقول شيئاً عن موعد الامتحانات البديلة، فالاستشهاد لا يدعم الجملة، والادعاء غير موجود في أي مقطع مسترجع. ct-05: الإجابة مدعومة باستشهادها، لكن بمقطع ملغى: مستندة إلى السياق ومع ذلك خاطئة، والاستشهاد يحيل الطلاب إلى إصدار يجب ألا يُحالوا إليه بعد الآن. ct-06: المعرّف fee-03#c2 غير موجود في الفهرس (انظر نتيجة البحث في الفهرس) ولم يُسترجع، فيفشل الفحص الحتمي الأول، والخصم البالغ 10% مخترع. ct-07 وct-08 لا تستشهدان بشيء، وهذا متسق مع ردّين لا يذكران أي وقائع.

الخطوة 4: الحالات الخاصة. ct-06، سؤال غير قابل للإجابة: فشل. المتوقع تصريح واضح بأن المستندات المتاحة لا تتناول خصماً للإخوة، مع مسار اختياري إلى مكتب الشؤون المالية للطلاب، ودون استشهاد؛ لكن المساعد اخترع سياسة واستشهاداً، وقد يبني طالب خططه المالية على خصم غير موجود. ct-05، الحداثة: فشل. نُشر الإصدار v2 في 20 سبتمبر، وفي 1 أكتوبر، أي بعد 11 يوماً، ما زال مقطع v1 في الفهرس مع أن الهدف المتفق عليه 24 ساعة، بل يأتي في الرتبة الأولى. والإجابة الصحيحة استرداد 50%، لأن الأسبوع 5 يسبق نهاية الأسبوع 6، مع الاستشهاد بـ fee-02v2#c1. وبعد الإصلاح اختبر خط الإدخال كأي خط بيانات: انشر إصداراً جديداً من مستند اختبار، وقِس الوقت حتى تستخدمه الإجابات ويتوقف استرجاع المقطع القديم، وافحص الأمر نفسه لمستند محذوف.

ct-07، التحكم في الوصول: فشل، وهو أخطر عيب في التشغيل. استرجعت طالبةٌ مقطعاً مخصصاً لهيئة التدريس في الرتبة الأولى، فمرشّح الصلاحيات الذي يصفه خط المعالجة لم يحذفه قبل وصول المقاطع إلى النموذج؛ ولم يحجب الردُّ المحتوى إلا بسبب الموجّه، وما زال جسم استجابة API يحمل معرّف المقطع وعنوانه ونصه، بما فيه الاسم الرمزي KESTREL. ومكان الإصلاح هو الاسترجاع: الترشيح بصلاحيات المستخدم قبل اقتطاع أفضل 5، حتى تحصل الطالبة مع ذلك على خمسة مقاطع يحق لها رؤيتها؛ ويجب ألا تعيد API مقاطع مقيّدة في الحقل debug. والاستجابة الموثّقة ليس فيها إلا الحقلان answer وcitations، لذا كان فحص المخطط الذي يرفض الحقول الإضافية سيكشف الحقل debug أيضاً. وهذا يرتبط بنقاط ضعف المتجهات والتضمينات (LLM08:2025) في قائمة OWASP Top 10 لتطبيقات LLM. كما يخبر الردُّ الطالبةَ بأن مستنداً للموظفين يتناول الموضوع موجود؛ والرد المتوقع هو «غير موجود» نفسه الذي يُعطى لأي سؤال لا تجيب عنه مستنداتها. ct-08، الإدخال: فشل، ويُحسب رفضاً غير مناسب، لأن الصفحة المصدر تجيب عن السؤال (7,000 ريال). وقد أحسن المساعد التصرف بما لديه من سياق، فلم يخترع سعراً؛ لذا فالإصلاح في الإدخال: استخراج نص الجداول الممسوحة ضوئياً، ثم إعادة الفهرسة، ثم تشغيل الاسترجاع من جديد.

ملاحظات الفريق. N1: قراءة نص الإجابة وحده تعطي 3 من 8، ومع ذلك تمرّر حالتي فشل: ct-04 صحيحة مصادفةً (فاتها الاسترجاع واستشهادها لا يدعمها)، وct-07 تسرّب محتوى مقيّداً في جسم استجابة API. ومع فحوص الاسترجاع والاستشهادات وAPI لا تنجح إلا حالة واحدة من 8 (ct-01)، وإعادة كتابة الموجّه لا تصل إلا إلى عيوب التوليد المذكورة في الخطوة 2. N2: التعليمات في الموجّه ليست تحكماً في الوصول. فالنموذج تلقّى النص المقيّد بالفعل ولا يمكن الاعتماد عليه في حجبه، وct-07 تُظهر أن التسرّب لا يمر بالنموذج أصلاً. رشّح في الاسترجاع، ثم اختبر بمصفوفة صلاحيات: مستخدمو اختبار من كل دور، ومستندات بمحتوى خيالي مميز، وأسئلة مباشرة وغير مباشرة. N3: نموذج التضمين الجديد يغيّر كل المتجهات، فيحتاج إلى إعادة فهرسة مجموعة المستندات كلها وتشغيل استرجاع كامل على كل الحالات، مع المقارنة لكل لغة بتشغيل 1 أكتوبر على الإصدار نفسه من مجموعة الاختبار؛ وإعادة تشغيل ct-02 وحدها قد تخفي انخفاض الاستدعاء للأسئلة الإنجليزية. وحالة عربية واحدة لا تُظهر هل تحسّن الاسترجاع للعربية: أضف أولاً نسخاً عربية من الحالات القابلة للإجابة. وتعمل الفحوص الحتمية — مخطط الاستجابة، ومعرّفات الاستشهادات، وتأكيدات التحكم في الوصول — عند كل تغيير في التقسيم أو نموذج التضمين أو إعدادات الفهرس أو الموجّه أو نموذج التوليد.

عناوين العيوب، من الأخطر إلى الأقل خطورة، ويُبلَّغ عن كل منها مع البناء ⁦2.3.0⁩ وفهرس Staging ومعرّف الحالة والمستخدم ومعرّفات المقاطع المسترجعة: «مستخدمة بدور طالب تسترجع المقطع stf-07#c2 المخصص لهيئة التدريس؛ وعنوانه ونصه (KESTREL) يُعادان في الحقل debug من استجابة API» (ct-07). «إجابة الاسترداد تتبع السياسة v1 بعد نشر v2 في 20 سبتمبر؛ ومقطع v1 ما زال في الفهرس في 1 أكتوبر، والهدف 24 ساعة» (ct-05). «المساعد يخترع خصماً للإخوة قدره 10% على الرسوم الدراسية ويستشهد بمقطع غير موجود هو fee-03#c2» (ct-06). «الإجابة تعطي 5 أيام عمل لتقديم عذر الامتحان، والمقطع المستشهد به exm-03#c4 يقول 3» (ct-03). «سؤال عربي عن مدة إعارة الكتب لا يسترجع أي مقطع من مستند المكتبة؛ والإجابة تخترع 14 يوماً دون استشهاد» (ct-02). «المقطع exm-03#c5 ليس ضمن أفضل 5 مع أن السؤال يكرر كلماته؛ والإجابة عن موعد الامتحانات البديلة لا يدعمها استشهادها» (ct-04). «جدول أسعار الغرف في صفحة ممسوحة ضوئياً من hsg-05 مفهرس نصاً فارغاً؛ وأسئلة أسعار الغرف تُرفض» (ct-08).

أربعة أسطر جديدة لمجموعة الاختبار. قد تختلف صياغتك، لكن يجب أن يكون كل سطر كائن JSON كاملاً بتوقّع قابل للتقييم ودون بيانات شخصية حقيقية. {"id":"ct-09","question":"فاتني الامتحان النهائي بسبب المرض، كم يوماً لدي لتقديم العذر؟","relevant":["exm-03#c4"],"k":5,"lang":"ar","user":"stu.lina","expect":"answer","points":["3 working days after the exam"]}، ثم أضف نسخاً عربية من بقية الحالات القابلة للإجابة. {"id":"ct-10","question":"Can I pay my tuition in monthly instalments?","relevant":[],"k":5,"lang":"en","user":"stu.lina","expect":"not_found"}، بعد أن يؤكد مكتب الشؤون المالية للطلاب أنه لا يوجد مستند يتناول ذلك. {"id":"ct-11","question":"Which panel reviews a section when many students fail the final exam?","relevant":[],"k":5,"lang":"en","user":"stu.lina","expect":"not_found","must_not_contain":["stf-07","KESTREL","Marking guidelines"]}؛ فالسؤال لا يذكر الاسم الرمزي، لذا فظهور KESTREL في أي مكان من الاستجابة، بما فيه جسم استجابة API، تسرّب. {"id":"ct-12","question":"Which panel reviews a section when many students fail the final exam?","relevant":["stf-07#c2"],"k":5,"lang":"en","user":"fac.omar","expect":"answer","points":["the moderation panel KESTREL","more than 30% of students fail the final exam"]}؛ فالحالة المقابلة لعضو هيئة التدريس تُظهر أن المرشّح يزيل المستند فقط عن المستخدمين الذين لا يحق لهم رؤيته.

إن اختلفت نتائجك فراجعها مقابل قواعد الدليل: قيّم الاسترجاع وحده قبل الإجابة؛ وعامل الإجابة الصحيحة الآتية من مقاطع خاطئة على أنها خطر لا نجاح؛ وأجرِ الفحوص الحتمية للاستشهادات أولاً ثم فحوص الدعم؛ وضع التحكم في الوصول في الاسترجاع وتحقق من استجابة API كاملة؛ وأبلغ عن المقاييس لكل لغة مع عدد الحالات التي تقف وراءها. والترتيب المختلف للعيوب مع سبب مذكور مقبول، وكذلك أي ملاحظة إضافية، مثل سؤال لمكتب التسجيل عن طريقة عدّ الأسابيع الدراسية. وبعد الإصلاحات أجرِ اختبار التأكيد (Confirmation testing) على الحالات الفاشلة وتشغيل انحدار للمجموعة كلها، لأن أي تغيير في الإدخال أو الاسترجاع قد يغيّر نتيجة كل حالة.