تشكيل النصوص العربية

الحركات في اللغة العربية — الفتحة والضمّة والكسرة والسكون والشدّة والتنوين — ليست تزييناً اختيارياً. إنّها أصوات حقيقية تُغيّر معنى الكلمة بشكل جذريّ. فكلمة كَتَبَ فعل ماضٍ، وكُتُب جمع لكتاب، وكُتِبَ مبنيّ للمجهول. ثلاث كلمات لها نفس الحروف، لكنّ المعنى يتبدّل تبدّلاً كاملاً بحسب الحركة.

مع ذلك، النصوص العربية الحديثة — في الكتب والمواقع والصحف — تُكتب مجرّدةً من التشكيل في معظمها، اعتماداً على أنّ القارئ العربيّ البالغ يستطيع استنتاج النطق الصحيح من السياق. هذا الافتراض يصحّ في الغالب، لكنّه يفشل في حالات حسّاسة: القرآن الكريم، الشعر، نصوص تعليم العربية للأطفال أو غير الناطقين بها، وأنظمة تحويل النصّ إلى كلام.

ثلاث حالات لا يمكن فيها الاستغناء عن التشكيل:

1. النصوص الدينية: القرآن يجب أن يُكتب مُشكَّلاً بالكامل لأنّ التلاوة الدقيقة فرض. أيّ خطأ في حركة قد يُغيّر آيةً كاملة. الأحاديث النبوية والنصوص الفقهية تتبع نفس المنطق في الحالات الحرجة.
2. الشعر العربيّ: الوزن العَروضيّ مبنيّ على تتابع الحركات والسكنات. لا يستطيع القارئ ضبط البحر إن لم يكن البيت مُشكَّلاً، خاصّةً في القصائد الكلاسيكية المنشورة لأغراض تعليمية.
3. تعليم اللغة: سواء للأطفال الناطقين بالعربية في مرحلة القراءة الأولى، أو لمتعلّمي العربية كلغة ثانية، التشكيل يقطع الطريق على التخمين ويبني نطقاً سليماً منذ البداية.

خارج هذه الحالات، التشكيل الجزئيّ يكفي: تُشكَّل فقط الكلمات الملتبسة أو الغامضة، ويُترك الباقي مجرّداً للقارئ المتمكّن.

أنظمة التشكيل التلقائيّ الحديثة تستخدم نماذج لغوية مُدرَّبة على ملايين الجمل العربية المُشكَّلة يدوياً. النموذج يتعلّم احتماليات: إن جاءت كلمة كتاب بعد كلمة قرأت، فالأرجح أنّها كِتاباً منصوبة، وليس كاتب أوكُتُب.

أشهر الأدوات مفتوحة المصدر:

• Mishkal — أداة بايثون من مشروع Tashkeela، تعتمد على قواعد + قاموس.
• Farasa — من معهد قطر للحوسبة، تستخدم نماذج عميقة.
• Camel Tools — مكتبة شاملة لمعالجة العربية تشمل التشكيل.
• Shakkala — نموذج Seq2Seq مبنيّ على Keras.

أداتنا الحالية تستخدم منهجاً مُبسَّطاً: قاموس مُختار من أكثر الكلمات شيوعاً (تسعون كلمة من القرآن والاستخدام اليوميّ) يُطبَّق مباشرةً في المتصفّح. هذا يكفي لتشكيل النصوص القصيرة والشائعة، ويُريك المبدأ، لكنّه ليس بديلاً عن الأدوات الكاملة للنصوص الطويلة.

قبل تشكيل النصّ أو البحث فيه أو فهرسته، يُنصح بتطبيعه أوّلاً: توحيد أشكال الحرف الواحد لتجنّب الأخطاء. المحارف الأكثر إشكالاً:

• الألف: إ أ آ ٱ كلّها تُكتب أحياناً بدل ا العادية. توحيدها يبسّط البحث.
• الياء والألف المقصورة: ى و ي يخلط بينهما المستخدمون كثيراً.
• التاء المربوطة والهاء: في الكتابة غير الرسمية كثير من المستخدمين يكتبون ه بدل ة.
• التطويل (الكَشِيدَة): الحرف ـ يُستخدم لمدّ الكلمة بصرياً ولا قيمة دلالية له، فحذفه آمن.

أداتنا تتيح هذه الخيارات كلّها في وضع "تطبيع النصّ"، يمكنك تشغيل أيّ منها حسب الحاجة.

العملية المعاكسة — إزالة التشكيل من نصّ مُشكَّل — أبسط بكثير ولا تحتاج ذكاءً اصطناعياً. مجرّد حذف لمحارف Unicode في النطاق U+064B إلى U+0652. نستخدمها في حالات عديدة:

• تنظيف نصّ مُشكَّل قبل لصقه في قاعدة بيانات (لتوحيد الفهرسة).
• تحضير النصّ للبحث: المستخدم يبحث بـ كتب ويجب أن يجد كَتَبَ و كُتُب معاً.
• اختبار خوارزميات تشكيل تلقائيّ: تأخذ نصّاً مُشكَّلاً يدوياً، تُجرّد منه التشكيل، ثمّ تُمرّره على الأداة وتقارن.
• تقليل حجم النصّ في التخزين أو الإرسال.

• للقرآن: استخدم مصاحف رقمية موثّقة (مثل ملفّات مجمّع الملك فهد) بدلاً من أيّ أداة تشكيل تلقائيّ. الدقّة هنا حاسمة.
• للشعر: شكِّل البيت يدويّاً أوّلاً، ثمّ استخدم الأداة لمراجعة الكلمات الشائعة فقط.
• للنصوص التعليمية: شكِّل الكلمات الجديدة أو الصعبة فقط (تشكيل انتقائيّ)، لتعويد الطالب على القراءة المختلطة.
• للبحث في المواقع: طبِّع كلٍّ من نصّ المستند ونصّ الاستعلام قبل المقارنة. هذا يُحسّن جودة النتائج بشكل كبير.
• للنشر الرقميّ: استخدم تشكيلاً جزئياً يكفي لإزالة الالتباس فقط؛ النصّ المُشكَّل كلّياً مُتعب بصرياً.

التشكيل أداة قويّة لكنّها مكلفة. خصِّصها للحالات التي تحتاجها فعلاً — القرآن، الشعر، التعليم، إزالة الالتباس — واعتمد على التطبيع والبحث الذكيّ في باقي السياقات. أداتنا تُعطيك الأساسيات الثلاثة: إزالة سريعة، تطبيع مُتعدّد الخيارات، وتشكيل قاموسيّ للنصوص القصيرة الشائعة، كلّ ذلك في متصفّحك دون أن يُرسَل نصّك إلى أيّ خادم.

محرّكات البحث الكبرى (Elasticsearch، OpenSearch، Meilisearch، Typesense) تَدعم العربيّة عبر مُحلّلات (analyzers) مخصّصة تُجرّد التشكيل و تُطبّع الألف والياء قبل الفهرسة. النتيجة: بحث المستخدم عن كتب يَجد كَتَبَ و كُتُبو كاتب كذلك. بدون هذه الخطوة، الفهرس يَنقسم إلى عشرات الإصدارات للكلمة نفسها، و معدّل النقر على النتائج يَنهار.

في تطبيقات الذكاء الاصطناعيّ، الموازنة معاكسة: نماذج LLMs الحديثة (GPT-4o، Claude، Gemini) تَستفيد من التشكيل لأنّه يُقلّل غموض المعنى ويُحسّن جودة الترجمة و التلخيص. تجربة عمليّة: لخّص نصّاً عربيّاً مرّةً بدون تشكيل ومرّةً معه. النصّ المُشكَّل يُنتج تلخيصاً أدقّ بنسبة 12-18% في معظم الحالات، خاصّةً عند تعدّد الأفعال والأسماء المتشابهة كتابةً.

للمطوّرين السعوديّين الذين يَبنون مساعدات AI عربيّة (chatbots للبنوك، الصحّة، التعليم)، القاعدة العمليّة: فهرس البحث بدون تشكيل، و prompt الذكاء الاصطناعيّ مع تشكيل جزئيّ للمصطلحات الحرجة. هذا المزيج يَجمع بين دقّة الفهم وسهولة البحث.