تنظيف النص العربي: إزالة التشكيل والكشيدة ومتى يضرّ توحيد الهمزات؟

النص العربي يحمل طبقات إضافية لا توجد في اللاتينية: حركات تشكيل، وحرف تطويل (الكشيدة)، وأشكال متعددة للألف والهمزة. هذه الطبقات جميلة في الطباعة، لكنها تخلق مشاكل تقنية حقيقية: بحث لا يجد الكلمة لأنها مشكّلة، ومقارنة نصين تفشل لاختلاف شكل الألف، ومقاس جدول ينتفخ بسبب حروف التطويل. تنظيف النص عملية تقنية هدفها توحيد الشكل لا تحسين اللغة.

ما المشكلة بالضبط؟

المحرّك يتعامل مع كل محرف كوحدة منفصلة: كلمة «مُحَمَّد» بلا تشكيل تُبني من 4 محارف، وبالتشكيل تصبح 8 إلى 10 محارف لأن كل حركة محرف مستقل في Unicode. فإذا بحث المستخدم عن «محمد» بلا تشكيل لن يجد السجل المكتوب بالتشكيل في البحث النصي البسيط، وكذلك الحال مع «أحمد» و«احمد» حيث تختلف الهمزة عن الألف المجردة في الترميز. أضف الكشيدة (ـ) التي تُستخدم لمحاذاة النص بصريًا — وهي محرف حقيقي — فتحصل على ثلاث كلمات متطابقة في المعنى ومختلفة تمامًا في المقارنة البرمجية.

ماذا يفعل كل خيار؟

• إزالة التشكيل: تحذف الفتحة والضمة والكسرة والسكون والشدة والتنوين، ومنها الألف الخنجرية (ٰ). «الرَّحْمَٰنِ» تصبح «الرحمن».
• إزالة التطويل: تحذف الكشيدة الزائدة فقط، فتنكمش «الرحِيـــــم» إلى «الرحيم» بلا أثر على باقي النص.
• توحيد الألف والهمزات: يحوّل أ إ آ ٱ إلى ا، وى إلى ي، وة إلى ه. النص «إلى مدرسة إن شاء الله» يصبح «الي مدرسه ان شاء الله».
• تنظيف المسافات: يحذف المسافات المتكررة والأسطر الفارغة الزائدة التي تُدخلها عمليات النسخ واللصق من صفحات الويب.

متى يكون التوحيد خطأً؟

توحيد الهمزات والتاء المربوطة مناسب لسياقات محددة فقط: المفاتيح الداخلية، والبحث، والمقارنة، وأسماء الملفات. أما في المحتوى المنشور فهو تشويه إملائي حقيقي: تحويل «مدرسة» إلى «مدرسه» و«إلى» إلى «الي» أخطاء ظاهرة يجب ألا تدخل نصًا يقرأه البشر، وقد يغيّر المعنى في كلمات مثل «إلى» و«على». لذلك هذا الخيار مغلق افتراضيًا في الأداة، بينما خيارا إزالة التشكيل والتطويل مفتوحان لأنهما لا يغيّران الإملاء — التشكيل يضيف ولا يعوّض عن حرف.

حالات استخدام عملية

• فهرسة وبحث: نظّف نص القاعدة وتشكيله قبل بناء الفهرس ليصبح البحث غير حساس للتشكيل أو شكل الألف.
• تنظيف نصوص منسوخة من ملفات PDF: التطويل والمسافات الزائدة هي أكثر ما ينتج عن النسخ من المستندات.
• مقارنة نسختين من نص واحد أو كشف التكرار بين قوائم (أسماء، مدن، تصنيفات) مع اختلافات التشكيل والهمزات.
• تجهيز نص لدخول قاعدة بيانات بمفاتيح موحدة الشكل قبل ربط الجداول وتخزين السجلات.

كيف تستخدم الأداة؟

الصق النص، فعّل الخيارات المطلوبة، ولاحظ أن النتيجة تظهر مباشرة مع مؤشرات الفرق بين طول النص الأصلي والناتج — مفيد لمعرفة حجم التشكيل والتطويل الذي أُزيل. المعالجة كاملة داخل متصفحك فلا يرفع النص إلى أي خادم.