ترميز المحارف ويونيكود

لماذا يهم

يتوقف نجاح المنتج المستخدم في السعودية أو الهند على معالجته للنص: اسم عميل يُحفظ على هيئة علي، وفاتورة PDF فيها علامات استفهام مكان العنوان، وبحث لا يجد مستخدمة لأن اسمها كُتب بصيغة مختلفة من الحركات، وحدّ 30 حرفاً يرفض اسماً عربياً من 30 حرفاً لأنه قيس بالبايتات. وكل واحد من هذه عيب قد يصادفه المستخدم في يومه الأول، وكثيراً ما يكون في الحقل الذي يحمل اسمه.

بالنسبة إلى المختبِر، عيوب الترميز رخيصة الاكتشاف، لكن تفويتها مكلف. فهي تختبئ خلف بيانات اختبار إنجليزية، ولا تظهر إلا عند نقطة التقاء بين نظامين (من المتصفح إلى الواجهة البرمجية، ومنها إلى قاعدة البيانات، ومنها إلى التصدير)، وما إن يُحفظ النص المشوّه مجدداً حتى يُخزَّن كأنه صحيح، فتكرّر كل قراءة لاحقة الضرر نفسه. ومجموعة بيانات صغيرة مع صورة واضحة لمواضع تحوّل البايتات إلى محارف تكشفها قبل الإصدار.

نقاط الترميز وUTF-8 والترميزات الأخرى

يعرّف يونيكود نقاط ترميز من U+0000 إلى U+10FFFF، والنص الذي يعالجه التطبيق تسلسل منها. والترميز يربط كل نقطة ترميز ببايتات تُكتب بالنظام الست عشري (Hexadecimal)، برقمين لكل بايت من 00 إلى FF. يستخدم UTF-8، المعرَّف في RFC 3629، بايتاً واحداً لمحارف ASCII المئة والثمانية والعشرين، فأي ملف لا يحوي إلا محارف ASCII هو UTF-8 صالح أصلاً؛ وبايتين لمعظم الحروف اللاتينية ذات علامات النبر وللإغريقية والسيريلية والعبرية والعربية؛ وثلاثة للديفاناغارية والصينية واليابانية ومعظم أنظمة الكتابة الأخرى الشائعة الاستخدام؛ وأربعة لمعظم الرموز التعبيرية وكل ما يقع فوق U+FFFF.

يخزّن UTF-16 معظم المحارف في وحدة واحدة من 16 بت، والمحارف التي فوق U+FFFF في وحدتين تسمّيان زوجاً بديلاً (Surrogate Pair). وتعدّ سلاسل JavaScript وJava وواجهات Windows بهذه الوحدات، ولهذا تكون قيمة '😀'.length هي 2. أما الترميزات القديمة أحادية البايت، مثل Windows-1252 للغات أوروبا الغربية وWindows-1256 أو ISO ⁦8859-6⁩ للعربية، فتتسع لـ 256 محرفاً على الأكثر، فلا تستطيع مثلاً أن تجمع العربية والديفاناغارية في نص واحد؛ وهي باقية في قواعد البيانات القديمة وملفات CSV المصدَّرة وأنظمة البريد، ومنها يبدأ معظم النص المشوّه.

String:  A ع न 😀                     4 code points

Char   Code point   UTF-8 bytes      UTF-16 units
A      U+0041       41               1
ع      U+0639       D8 B9            1
न      U+0928       E0 A4 A8         1
😀     U+1F600      F0 9F 98 80      2 (surrogate pair)

Total: 4 characters, 10 UTF-8 bytes, 5 UTF-16 units

جرّبها: مرمّز Hex جرّبها: مرمّز Unicode

النص المشوّه (Mojibake): بايتات صحيحة ومفكّك ترميز خاطئ

النص المشوّه (Mojibake) هو النص المبعثر الذي يظهر عندما تُقرأ بايتات كُتبت بترميز ما على أنها بترميز آخر. البايتات غالباً سليمة، لكن القارئ خمّن خطأً. فكلمة café المخزّنة بـ UTF-8 هي 63 61 66 C3 A9؛ والمكوّن الذي يقرأ هذه البايتات على أنها Windows-1252 يعرض café، لأن C3 في ذلك الجدول هو Ã وA9 هو ©. ويتفاقم الضرر عندما يُحفظ النص المشوّه مجدداً: عندها يُرمَّز café بوصفه UTF-8 صالحاً، فيعرضه كل قارئ لاحق كما هو، ولا يُستعاد الأصل إلا بعكس التحويل الخاطئ سجلاً سجلاً، وهذا لا ينجح دائماً.

كل طبقة تعلن ترميزاً أو تفترضه: الترويسة Content-Type: text/html; charset=utf-8 والوسم <meta charset="utf-8"> في HTML؛ وJSON الذي يشترط RFC 8259 أن يكون UTF-8 عند تبادله خارج نظام مغلق، ولا يعرّف نوع وسائطه application/json أي معامل charset؛ وعناوين URL التي تُرمَّز فيها بايتات UTF-8 بترميز النسبة المئوية (فالحرف ع يُنقَل على هيئة %D8%B9)؛ وأعمدة قاعدة البيانات واتصالاتها؛ وملفات CSV بعلامة ترتيب البايتات (EF BB BF) أو من دونها؛ وقوالب البريد وملفات السجلات. ويظهر النص المشوّه عند نقطة الالتقاء التي تختلف فيها طبقتان.

وشكل التشويه يدلّك على فئة العيب الذي أمامك:

• é و€ في النص اللاتيني، والعربية على هيئة سلاسل من Ø وÙ (فتصبح سلام هي سلام)، والديفاناغارية على هيئة سلاسل من à¤ وà¥: بايتات UTF-8 قُرئت على أنها ترميز غربي أحادي البايت.
• ? مكان الحروف: حُوّل النص إلى ترميز لا خانة فيه لتلك المحارف، فضاعت نهائياً.
• �، محرف الاستبدال U+FFFD: صادف مفكّك الترميز تسلسل بايتات غير صالح في UTF-8، وغالباً ما يكون نصاً بترميز Windows-1256 قُرئ على أنه UTF-8، أو سلسلة قُطعت في منتصف محرف متعدد البايتات.
• مربعات فارغة، أو علامة صوتية مرسومة على دائرة منقّطة: فُكّ ترميز البايتات صحيحاً، لكن الخط لا يحوي رسماً (Glyph) لهذا المحرف، أو أن محرك التشكيل (Shaping Engine)، أي جزء العرض الذي يصل الحروف ويضع عليها العلامات، صادف علامة لا يسبقها حرف، كأن يُقطع النص بين الحرف وحركته. ابحث عندئذٍ في العرض والاقتطاع لا في الترميز.

جرّبها: مرمّز Hex جرّبها: مقارنة النصوص (Diff)

التطبيع وعدّ المحارف

يمكن تخزين النص المرئي نفسه بنقاط ترميز مختلفة. فالحرف é نقطة ترميز واحدة (U+00E9) أو نقطتان (e تتبعها علامة النبر المركِّبة U+0301)؛ والحرف العربي مع حركة قصيرة كالفتحة نقطتان دائماً، وأ نقطة واحدة (U+0623) أو نقطتان (ا تتبعها الهمزة العلوية U+0654). وتطبيع يونيكود (Normalization)، المعرَّف في UAX #15، يحوّل النص إلى صيغة واحدة متفق عليها: NFC يركّب هذه التسلسلات وNFD يفكّكها. أما صيغتا التوافق NFKC وNFKD فتذهبان أبعد، فتطويان أيضاً الحرف المركّب (Ligature) fi إلى fi، وＡ كامل العرض إلى A، وصيغة العرض العربية ﻻ إلى ل ثم ا؛ وهذا صحيح للبحث وخاطئ لتخزين اسم كما كُتب. ولا يحوّل التطبيع نظام أرقام إلى نظام آخر: فالرقم العربي الهندي ٣ يبقى ٣ حتى مع NFKC، وهذه مسألة إعدادات محلية للدرس التالي.

ما لم يطبّع المنتج النص عند حدوده، يستطيع مستخدمان تسجيل José مرتين، ويفوّت البحث عن اسم كُتب بلوحة مفاتيح الاسمَ نفسه مكتوباً بلوحة أخرى، وتفشل كلمة مرور ضُبطت بصيغة في الصيغة الأخرى. اسأل أي صيغة يستخدمها المنتج وأين يطبّقها؛ وتوصي إرشادات التدويل في W3C بصيغة NFC لنصوص الويب.

وللطول أربع إجابات. المستخدم يعدّ العناقيد الرسومية (Grapheme Clusters)، أي المحارف كما يدركها المستخدم وفق UAX #29؛ وعمود قاعدة البيانات قد يعدّ البايتات؛ وlength في JavaScript تعدّ وحدات UTF-16؛ وPython تعدّ نقاط الترميز، بينما تعدّ Go وRust البايتات. ولا تتفق الأربع إلا في نص ASCII البسيط:

String        Graphemes  Code points  UTF-16 units  UTF-8 bytes
Ali               3           3            3             3
علي               3           3            3             6
مُحَمَّد              4           8            8            16
José (NFC)        4           4            4             5
José (NFD)        4           5            5             6
हिंदी              2           5            5            15
👍🏽                1           2            4             8

جرّبها: عدّاد طول السلاسل النصية جرّبها: مولّد مجموعات بيانات Unicode

مثال تطبيقي: اختبار حقل الاسم من طرف إلى طرف

المتطلب: «اسم العرض، من ⁦2⁩ إلى ⁦30⁩ حرفاً، يظهر في الملف الشخصي وفي رسائل البريد وفي تصدير CSV لقائمة المستخدمين». يُختبر الترميز بوصفه رحلة ذهاب وإياب: أدخل مجموعة بيانات ثابتة، واحفظ، وأعد التحميل، واقرأها عبر الواجهة البرمجية، وصدّرها، وقارن كل محطة بالأصل، بالبايتات لا بالعين.

• ابنِ مجموعة البيانات مرة واحدة واحتفظ بها: لاتينية بعلامات نبر، وعربية بحركات ومن دونها، وديفاناغارية بعلامات صوتية، ورمز تعبيري بلون بشرة، والاسم نفسه بصيغتي NFC وNFD. يولّد مولّد بيانات يونيكود سلاسل من كل نوع مع أعدادها، ويعطيك عدّاد طول السلسلة الأعداد الأربعة لأي سلسلة تضيفها بنفسك.
• أدخل كل سلسلة، واحفظ، وأعد تحميل الملف الشخصي، وقارن النص المعروض بالمدخل في أداة مقارنة النصوص؛ ثم اجلب المستخدم نفسه من الواجهة البرمجية، وقارن بايتات قيمة JSON مكتوبةً بالست عشري ببايتات الأصل.
• اختبر الحدّ: علي مكررة عشر مرات هي 30 حرفاً و60 بايتاً. فإن رُفضت بينما يُقبل 30 حرفاً لاتينياً فالحدّ يعدّ البايتات؛ وإن عُدّ 👍🏽 أربعة فهو يعدّ وحدات UTF-16. سجّل أيهما، واسأل هل قصد المتطلب المحارف كما يدركها المستخدم.
• ابحث عن José بصيغة NFD بعد حفظها بصيغة NFC، والعكس؛ ثم افتح تصدير CSV في برنامج جداول وفي محرر نصوص بسيط وابحث عن Ã وØ و? و�.
• ولّد رسالة بريد واحدة وملف PDF واحداً يتضمنان الاسم، واقرأ سجل الخادم حيث تظهر العربية غالباً على هيئة تسلسلات هروب مثل \u0639: وهذا صحيح ما دام عارض السجلات يفكّها، ومفكّك ترميز يونيكود يعيدها نصاً مقروءاً.

POST /api/v1/profile HTTP/1.1
Host: api.example.com
Content-Type: application/json

{"displayName":"علي"}

GET /api/v1/profile HTTP/1.1
Host: api.example.com

HTTP/1.1 200 OK
Content-Type: application/json

{"displayName":"علي"}         OK: value bytes D8 B9 D9 84 D9 8A
{"displayName":"علي"}      mojibake: read once as Windows-1252, saved again
{"displayName":"???"}         lost: converted to an encoding without Arabic

جرّبها: مولّد مجموعات بيانات Unicode جرّبها: عدّاد طول السلاسل النصية جرّبها: مقارنة النصوص (Diff) جرّبها: مفكّك ترميز Unicode

أسئلة شائعة

المراجع

• The Unicode StandardUnicode Consortiumمجموعة المحارف العالمية وأشكال ترميزها (UTF-8 وUTF-16 وUTF-32) والتطبيع وخصائص كل نقطة ترميز.
• RFC 3629: UTF-8, a transformation format of ISO 10646IETF · 2003كيف تُرمَّز نقاط الترميز إلى بايت واحد حتى أربعة بايتات في UTF-8، وأي تسلسلات بايت غير صالحة.
• UAX #15: Unicode Normalization FormsUnicode Consortiumصيغ التطبيع NFC وNFD وNFKC وNFKD — سبب اختلاف سلسلتين متطابقتين بصرياً عند المقارنة قبل التطبيع.
• UAX #29: Unicode Text SegmentationUnicode Consortiumكيفية تقسيم النص إلى عناقيد رسومية وكلمات وجمل — ولماذا قد يختلف عدد «الأحرف» عن عدد نقاط الترميز أو البايتات.