ما هما يونيكود وUTF-8؟
يونيكود يعيّن رقماً (نقطة ترميز، تُكتب U+0627 لحرف الألف العربي) لكل محرف في كل نظام كتابة؛ وUTF-8 هو الترميز الذي يحوّل تلك الأرقام إلى بايت واحد حتى أربعة بايتات، وهو الافتراضي على الويب وفي JSON. معظم أخطاء «النص المشوّه» هي تسلسل بايتات UTF-8 يُقرأ بترميز آخر، أو نص يُعدّ بالبايتات حيث توقع البرنامج محارف.
كيفية استخدام مولّد مجموعات بيانات Unicode
- اذكر الفئات (أو "all").
- أضف سلاسل نصية مختلطة عشوائية إذا أردت حجماً أكبر.
- اضغط «توليد» (Generate) وقارن أعمدة الطول بما يخزّنه نظامك.
مزايا مولّد مجموعات بيانات Unicode
- 18 فئة: اللاتينية بعلامات التشكيل، والعربية، والديفاناغارية، وCJK، والسيريلية، واليونانية، والعبرية، والتايلاندية، والرموز التعبيرية، وعلامات الدمج، وأزواج NFC/NFD، والأزواج البديلة، وأحرف التحكم ثنائية الاتجاه، وعديمة العرض، والأحرف المتشابهة، والخطوط المختلطة، وتحويل حالة الأحرف، وصيغ العرض الكامل
- لكل صف: الصيغة المهرَّبة، ونقاط الترميز، ووحدات UTF-16، وبايتات UTF-8، والمقاطع الحرفية (graphemes)، وعلامة NFC = NFD
- سلاسل نصية عشوائية إضافية تجمع عيّنات من الفئات المختارة
- عدد المقاطع الحرفية متعددة الوحدات في الملخّص
- قابل للتوليد ببذرة (seed)؛ مع إخراج بصيغة JSON أو CSV أو SQL أو XML أو JSON Lines أو جدول نصي
مثال على مولّد مجموعات بيانات Unicode
رمز تعبيري لعائلة
الإدخال:
Categories: emojiالنتيجة:
text,codePoints,utf16Units,utf8Bytes,graphemes
👨👩👧👦,7,11,25,1الأسئلة الشائعة حول مولّد مجموعات بيانات Unicode
ماذا يخبرني كل صف؟
النص وصيغته المهرَّبة، وعدد نقاط الترميز ووحدات UTF-16 وبايتات UTF-8 والمقاطع الحرفية كما يراها المستخدم، وما إذا كانت صيغتا NFC وNFD متطابقتين — كل ما تحتاجه لرصد أخطاء الطول والتطبيع.
ما الخطوط والحالات المشمولة؟
اللاتينية بعلامات التشكيل، والعربية، والديفاناغارية، وCJK، والسيريلية، واليونانية، والعبرية، والتايلاندية، والرموز التعبيرية وتسلسلات ZWJ، وعلامات الدمج، وأزواج NFC/NFD، والأزواج البديلة، وأحرف التحكم ثنائية الاتجاه، والأحرف عديمة العرض، والأحرف المتشابهة، والخطوط المختلطة، والحالات الحدّية لتحويل حالة الأحرف، وصيغ العرض الكامل.
هل يمكنني توليد سلاسل نصية مختلطة عشوائية أيضاً؟
نعم — حدّد عدد السلاسل الإضافية التي تُبنى من عيّنات عشوائية من الفئات المختارة، وعدد العيّنات التي تجمعها كل سلسلة.
المراجع
- The Unicode Standardمجموعة المحارف العالمية وأشكال ترميزها (UTF-8 وUTF-16 وUTF-32) والتطبيع وخصائص كل نقطة ترميز.
- RFC 3629: UTF-8, a transformation format of ISO 10646كيف تُرمَّز نقاط الترميز إلى بايت واحد حتى أربعة بايتات في UTF-8، وأي تسلسلات بايت غير صالحة.
- RFC 4180: Common Format and MIME Type for Comma-Separated Values (CSV) Filesقواعد CSV الشائعة: الفاصلة كفاصل، ونهايات الأسطر CRLF، وتحويط الحقول التي تحتوي فواصل أو علامات اقتباس أو أسطر جديدة.
- Personal Data Protection Law (English translation)النظام السعودي لحماية البيانات الشخصية — ولماذا ينبغي أن تستخدم بيئات الاختبار بيانات اصطناعية بدلاً من نسخ سجلات العملاء الحقيقية.