مقيّم استدعاءات أدوات الوكيل

تعمل في المتصفح جديد التحقق

تقييم الوكيل يعني فحص مساره، لا إجابته النهائية فقط. الصق الاستدعاءات التي تتوقعها حالة الاختبار وسجل تتبّع الوكيل — استجابة من OpenAI Chat Completions أو Responses، أو كتل tool_use في Messages API، أو أجزاء functionCall من Gemini، أو قائمة بسيطة — فيطابقها المقيّم بترتيب صارم أو بالترتيب أو بأي ترتيب، ويقارن الوسائط (مجموعة جزئية، أو مطابقة تامة، أو المفاتيح فقط، أو تجاهلها، مع هامش سماح عددي)، ويعرض دقة اختيار الأدوات (Precision) والاسترجاع (Recall)، ودقة الوسائط، والاستدعاءات الناقصة والزائدة والمكررة والمحظورة، وحكماً بالنجاح أو الفشل مع تقرير JSON. والتقييم حتمي ويعمل في متصفحك: لا يُستدعى أي نموذج ولا يُرسل أي شيء.

الخصوصية: تعمل هذه الأداة بالكامل في متصفحك. لا تغادر بياناتك جهازك أبداً.

ما هو اختبار النماذج اللغوية الكبيرة (LLM)؟

اختبار النماذج اللغوية الكبيرة هو جمع الأدلة على أن النظام المبني على نموذج لغوي كبير يفعل ما ينبغي، ويستمر في ذلك حين يتغير الموجّه أو النموذج أو البيانات، ويفشل بأمان عند إساءة الاستخدام. ولأن المخرجات تتباين بين التشغيلات، يعتمد على مخرجات مهيكلة يُتحقق منها مقابل مخطط، وتحققات الخصائص، والتشغيل المتكرر مع عتبات لنسبة النجاح، والمراجعة وفق معايير تقييم، ويُعاد تشغيله كتقييم انحدار عند كل تغيير في الموجّه أو النموذج.

اقرأ الدليل: اختبار النماذج اللغوية الكبيرة (LLM Testing)

كيفية استخدام مقيّم استدعاءات أدوات الوكيل

  1. اكتب الاستدعاءات التي تتوقعها حالة الاختبار كمصفوفة JSON: ⁦[{ "name": "search_flights", "args": { "from": "RUH" } }]⁩. وعلّم الاستدعاءات الاختيارية بـ ⁦"optional": true⁩.
  2. الصق سجل تتبّع الوكيل: استجابة API، أو قائمة الرسائل، أو قائمة الاستدعاءات التي يصدّرها إطار العمل لديك.
  3. اختر قاعدة الترتيب وطريقة مقارنة الوسائط، واذكر أي أدوات يجب ألا يستدعيها الوكيل أبداً.
  4. اضغط «قيّم» واقرأ الحكم والمقاييس وجدول الاستدعاءات المتوقعة.
  5. افتح اختلافات الوسائط والاستدعاءات غير المتوقعة لترى أين أخطأ الوكيل، ثم أضف الحالة إلى مجموعة التقييم لديك.

مزايا مقيّم استدعاءات أدوات الوكيل

  • يقرأ سجلات التتبّع من OpenAI Chat Completions ‏(tool_calls) وOpenAI Responses ‏(function_call) وكتل tool_use في Messages API وGemini ‏(functionCall) أو من قائمة استدعاءات بسيطة
  • يطابق الاستدعاءات المتوقعة بترتيب صارم، أو بالترتيب (مع جواز تخلّل استدعاءات أخرى)، أو بأي ترتيب
  • يقارن الوسائط كمجموعة جزئية، أو بمطابقة تامة، أو بالمفاتيح فقط، أو لا يقارنها — للاختبار كله أو لكل استدعاء متوقع — مع هامش سماح عددي وخيار لتجاهل حالة الأحرف
  • يحسب دقة اختيار الأدوات (Precision) والاسترجاع (Recall) ومقياس F1 ودقة الوسائط
  • ينبّه إلى الاستدعاءات الناقصة والزائدة والمحظورة والمكررة بالوسائط نفسها، وإلى تجاوز الحد الأقصى لعدد الاستدعاءات
  • يصدر حكماً بالنجاح أو الفشل مع أسبابه، واختلافات الوسائط لكل مسار، وتقرير JSON قابلاً للتنزيل

مثال على مقيّم استدعاءات أدوات الوكيل

وكيل حجز يحجز مرتين لراكبين

الإدخال:

المتوقع: search_flights ‏(⁦RUH → DXB⁩، ⁦2026-11-05⁩)، وget_fare_rules اختياري، وbook_flight ‏(passengers: 1)، وsend_confirmation (المفاتيح فقط) · سجل التتبّع: tool_calls من OpenAI فيها search_flights، ثم book_flight ‏(passengers: 2) مرتين

النتيجة:

الحكم: فشل (FAIL) — لم تُستدعَ أداة مطلوبة (send_confirmation)، واستُدعيت أداة بوسائط خاطئة (القيمة المتوقعة لـ ⁦$.passengers⁩ هي 1 والفعلية 2)، وأجرى الوكيل استدعاءات لم يتوقعها الاختبار (book_flight الثاني) · استدعاء مطابق مكرّر: ⁦book_flight × 2⁩ · دقة اختيار الأدوات 67% · الاسترجاع 67% · دقة الوسائط 50%

متى تستخدم مقيّم استدعاءات أدوات الوكيل

  • اختبار الانحدار لوكيل بعد تغيير الموجّه (prompt) أو النموذج أو مخطط الأدوات
  • التأكد من أن الوكيل لا يستدعي أبداً أداة مدمّرة (استرداد مبالغ، حذف) دون خطوة التأكيد المتوقعة
  • تحويل سجل تتبّع من بيئة الإنتاج فيه إجراء خاطئ إلى حالة اختبار قابلة للتكرار
  • مقارنة نموذجين في المهمة نفسها بالمسار الذي يسلكه كل منهما، لا بالإجابة وحدها

الأسئلة الشائعة حول مقيّم استدعاءات أدوات الوكيل

لماذا أقيّم استدعاءات الأدوات لا الإجابة النهائية فقط؟

قد يصل الوكيل إلى إجابة مقنعة عبر مسار خاطئ — باستدعاء واجهة API خاطئة، أو الحجز مرتين، أو تخطّي خطوة تحقق، أو تنفيذ إجراء لا ينبغي له تنفيذه أبداً. وهذه العيوب لا تظهر إلا في سجل التتبّع، لذا ينبغي لاختبار الوكيل أن يتحقق من الاستدعاءات إلى جانب الرد.

ما صيغ سجلات التتبّع المدعومة؟

استدعاءات tool_calls في OpenAI Chat Completions (والوسائط فيها نص بصيغة JSON)، وعناصر function_call في OpenAI Responses، وكتل المحتوى tool_use في Messages API، وأجزاء functionCall في Gemini، وأي قائمة بسيطة من كائنات لها اسم ووسائط. ويُبحث في قوائم الرسائل واستجابات API الكاملة عن الاستدعاءات بترتيبها.

كيف تُقارن الوسائط؟

افتراضياً يجب أن تحضر المفاتيح المتوقعة بقيم مساوية، ويُسمح بمفاتيح إضافية (مجموعة جزئية). ويمكنك اشتراط المطابقة التامة، أو التحقق من وجود المفاتيح فقط، أو تجاهل الوسائط، للاختبار كله أو لكل استدعاء، مع هامش سماح عددي وخيار لمقارنة النصوص دون مراعاة حالة الأحرف.

ماذا تعني الدقة (Precision) والاسترجاع (Recall) هنا؟

الدقة هي نسبة استدعاءات الوكيل التي طابقت استدعاءً متوقعاً؛ والاسترجاع هو نسبة الاستدعاءات المتوقعة المطلوبة التي أجراها الوكيل. أما دقة الوسائط فهي نسبة الاستدعاءات المطابقة التي جاءت وسائطها صحيحة.

هل تستدعي هذه الأداة نموذج ذكاء اصطناعي؟

لا. إنها مقارنة حتمية تعمل في متصفحك. ولا يُرسل شيء مما تلصقه إلى متقن ولا إلى أي مزوّد نماذج.

ملاحظات تقنية

في وضع «بالترتيب» يُطابَق كل استدعاء متوقع مع أول استدعاء لاحق يحمل الاسم نفسه، مع تفضيل استدعاء تتطابق وسائطه؛ وفي وضع «أي ترتيب» يُبحث في سجل التتبّع كله؛ وفي الوضع «الصارم» يجب أن يكون الاستدعاء في الموضع n هو الاستدعاء المتوقع رقم n. وتصل وسائط OpenAI نصاً بصيغة JSON فتُفكّ قبل المقارنة.

الدقة (Precision) هي الاستدعاءات المطابقة ÷ الاستدعاءات المُجراة، والاسترجاع (Recall) هو الاستدعاءات المتوقعة المطلوبة التي أُجريت ÷ الاستدعاءات المتوقعة المطلوبة، ودقة الوسائط هي الاستدعاءات ذات الوسائط الصحيحة ÷ الاستدعاءات المطابقة. وتُحتسب الاستدعاءات المتوقعة الاختيارية حين تحضر، ولا تُعدّ ناقصة أبداً.

الحدود ومنهجية القياس

يقارن المقيّم الاستدعاءات، ولا يحكم على صحة الإجابة النهائية أو جودة صياغتها — استخدمه مع فحص للإجابة.

يقرأ الاستدعاءات الموجودة في سجل التتبّع الذي تلصقه. أما الاستدعاءات التي لم يسجّلها إطار العمل لديك، أو التي أجراها وكلاء فرعيون في سجل آخر، فلا يراها.

تُقارن قيم الوسائط حرفياً (مع خيارَي هامش السماح وحالة الأحرف)؛ فالقيم المتساوية في المعنى والمكتوبة بطريقة مختلفة، مثل صيغتين للتاريخ، تُعدّ مختلفة.

المراجع