تشكيل النصوص العربية

الحركات في اللغة العربية — الفتحة والضمّة والكسرة والسكون والشدّة والتنوين — ليست تزييناً اختيارياً. إنّها أصوات حقيقية تُغيّر معنى الكلمة بشكل جذريّ. فكلمة كَتَبَ فعل ماضٍ، وكُتُب جمع لكتاب، وكُتِبَ مبنيّ للمجهول. ثلاث كلمات لها نفس الحروف، لكنّ المعنى يتبدّل تبدّلاً كاملاً بحسب الحركة.

مع ذلك، النصوص العربية الحديثة — في الكتب والمواقع والصحف — تُكتب مجرّدةً من التشكيل في معظمها، اعتماداً على أنّ القارئ العربيّ البالغ يستطيع استنتاج النطق الصحيح من السياق. هذا الافتراض يصحّ في الغالب، لكنّه يفشل في حالات حسّاسة: القرآن الكريم، الشعر، نصوص تعليم العربية للأطفال أو غير الناطقين بها، وأنظمة تحويل النصّ إلى كلام.

ثلاث حالات لا يمكن فيها الاستغناء عن التشكيل:

1. النصوص الدينية: القرآن يجب أن يُكتب مُشكَّلاً بالكامل لأنّ التلاوة الدقيقة فرض. أيّ خطأ في حركة قد يُغيّر آيةً كاملة. الأحاديث النبوية والنصوص الفقهية تتبع نفس المنطق في الحالات الحرجة.
2. الشعر العربيّ: الوزن العَروضيّ مبنيّ على تتابع الحركات والسكنات. لا يستطيع القارئ ضبط البحر إن لم يكن البيت مُشكَّلاً، خاصّةً في القصائد الكلاسيكية المنشورة لأغراض تعليمية.
3. تعليم اللغة: سواء للأطفال الناطقين بالعربية في مرحلة القراءة الأولى، أو لمتعلّمي العربية كلغة ثانية، التشكيل يقطع الطريق على التخمين ويبني نطقاً سليماً منذ البداية.

خارج هذه الحالات، التشكيل الجزئيّ يكفي: تُشكَّل فقط الكلمات الملتبسة أو الغامضة، ويُترك الباقي مجرّداً للقارئ المتمكّن.

أنظمة التشكيل التلقائيّ الحديثة تستخدم نماذج لغوية مُدرَّبة على ملايين الجمل العربية المُشكَّلة يدوياً. النموذج يتعلّم احتماليات: إن جاءت كلمة كتاب بعد كلمة قرأت، فالأرجح أنّها كِتاباً منصوبة، وليس كاتب أوكُتُب.

أشهر الأدوات مفتوحة المصدر:

• Mishkal — أداة بايثون من مشروع Tashkeela، تعتمد على قواعد + قاموس.
• Farasa — من معهد قطر للحوسبة، تستخدم نماذج عميقة.
• Camel Tools — مكتبة شاملة لمعالجة العربية تشمل التشكيل.
• Shakkala — نموذج Seq2Seq مبنيّ على Keras.

أداتنا الحالية تستخدم منهجاً مُبسَّطاً: قاموس مُختار من أكثر الكلمات شيوعاً (تسعون كلمة من القرآن والاستخدام اليوميّ) يُطبَّق مباشرةً في المتصفّح. هذا يكفي لتشكيل النصوص القصيرة والشائعة، ويُريك المبدأ، لكنّه ليس بديلاً عن الأدوات الكاملة للنصوص الطويلة.

قبل تشكيل النصّ أو البحث فيه أو فهرسته، يُنصح بتطبيعه أوّلاً: توحيد أشكال الحرف الواحد لتجنّب الأخطاء. المحارف الأكثر إشكالاً:

• الألف: إ أ آ ٱ كلّها تُكتب أحياناً بدل ا العادية. توحيدها يبسّط البحث.
• الياء والألف المقصورة: ى و ي يخلط بينهما المستخدمون كثيراً.
• التاء المربوطة والهاء: في الكتابة غير الرسمية كثير من المستخدمين يكتبون ه بدل ة.
• التطويل (الكَشِيدَة): الحرف ـ يُستخدم لمدّ الكلمة بصرياً ولا قيمة دلالية له، فحذفه آمن.

أداتنا تتيح هذه الخيارات كلّها في وضع "تطبيع النصّ"، يمكنك تشغيل أيّ منها حسب الحاجة.

العملية المعاكسة — إزالة التشكيل من نصّ مُشكَّل — أبسط بكثير ولا تحتاج ذكاءً اصطناعياً. مجرّد حذف لمحارف Unicode في النطاق U+064B إلى U+0652. نستخدمها في حالات عديدة:

• تنظيف نصّ مُشكَّل قبل لصقه في قاعدة بيانات (لتوحيد الفهرسة).
• تحضير النصّ للبحث: المستخدم يبحث بـ كتب ويجب أن يجد كَتَبَ و كُتُب معاً.
• اختبار خوارزميات تشكيل تلقائيّ: تأخذ نصّاً مُشكَّلاً يدوياً، تُجرّد منه التشكيل، ثمّ تُمرّره على الأداة وتقارن.
• تقليل حجم النصّ في التخزين أو الإرسال.

• للقرآن: استخدم مصاحف رقمية موثّقة (مثل ملفّات مجمّع الملك فهد) بدلاً من أيّ أداة تشكيل تلقائيّ. الدقّة هنا حاسمة.
• للشعر: شكِّل البيت يدويّاً أوّلاً، ثمّ استخدم الأداة لمراجعة الكلمات الشائعة فقط.
• للنصوص التعليمية: شكِّل الكلمات الجديدة أو الصعبة فقط (تشكيل انتقائيّ)، لتعويد الطالب على القراءة المختلطة.
• للبحث في المواقع: طبِّع كلٍّ من نصّ المستند ونصّ الاستعلام قبل المقارنة. هذا يُحسّن جودة النتائج بشكل كبير.
• للنشر الرقميّ: استخدم تشكيلاً جزئياً يكفي لإزالة الالتباس فقط؛ النصّ المُشكَّل كلّياً مُتعب بصرياً.

كلّ حركة في العربية محرف مستقلّ في يونيكود يُرسَم فوق الحرف أو تحته دون أن يشغل عرضاً خاصّاً به (محارف مُدمجة). معرفة الرموز تفيدك عند البحث والاستبدال في المحرّرات أو عند كتابة تعبيرات نمطيّة (Regex):

• الفتحة ـَ — U+064E، صوت "a" قصير.
• الضمّة ـُ — U+064F، صوت "u" قصير.
• الكسرة ـِ — U+0650، صوت "i" قصير.
• السكون ـْ — U+0652، غياب الحركة.
• الشدّة ـّ — U+0651، تضعيف الحرف.
• تنوين الفتح ـً — U+064B، يُنطق "an".
• تنوين الضمّ ـٌ — U+064C، يُنطق "un".
• تنوين الكسر ـٍ — U+064D، يُنطق "in".

يُضاف إليها محرفان يظهران في المصاحف والنصوص التراثيّة: المدّة U+0653 فوق الألف (آ)، والألف الخنجريّة U+0670في كلمات مثل "هذا" و"الرحمن" حيث تُنطق ألفاً طويلة دون أن تُكتب ألفاً كاملة. لهذا نطاق الحذف الأساسيّ في أداة إزالة التشكيل يمتدّ من U+064B إلى U+0652، مع هذين المحرفين الإضافيّين عند الحاجة.

في تخطيط لوحة المفاتيح العربيّة القياسيّ (Windows وLinux)، الحركات كلّها متاحة بمفتاح Shift:

• الفتحة: Shift + ض (موضع حرف Q).
• تنوين الفتح: Shift + ص (موضع W).
• الضمّة: Shift + ث (موضع E).
• تنوين الضمّ: Shift + ق (موضع R).
• الكسرة: Shift + ش (موضع A).
• تنوين الكسر: Shift + س (موضع S).
• السكون: Shift + ء (موضع X).
• الشدّة: Shift + ذ (المفتاح تحت Esc).

على أجهزة ماك التخطيط العربيّ مشابه لكنّ مواضع بعض الحركات تختلف قليلاً بحسب إصدار النظام؛ جرّب Shift مع صفّ الحروف نفسه. أمّا على الجوّال، فمعظم لوحات المفاتيح (Gboard وSwiftKey ولوحة iOS) تُظهر الحركات بالضغط المطوّل على الحرف المناسب. والقاعدة دائماً: اكتب الحرف أوّلاً ثمّ الحركة بعده مباشرةً، وفي حال الشدّة مع حركة اكتب الشدّة ثمّ الحركة.

• تنوين الفتح والألف:هناك عُرفان في كتابة "كتاباً": وضع التنوين على الحرف قبل الألف (كتابًا) أو على الألف نفسها (كتاباً). كلاهما شائع ومقروء، لكن اختر عُرفاً واحداً والتزمه في المستند كلّه، لأنّ الخلط يُربك البحث والفهرسة.
• النسخ من ملفّات PDF: كثير من ملفّات PDF تخزّن الحركات بترتيب داخليّ مختلف أو بمحارف رسم خاصّة، فيخرج النصّ المنسوخ مشوّهاً. الحلّ: مرّر النصّ على خيار التطبيع في الأداة قبل استعماله.
• نصّان متطابقان بصريّاً لكن مختلفان برمجيّاً: الحرف المشدَّد المضموم مثلاً يمكن تخزينه بترتيبين (شدّة ثمّ ضمّة أو العكس) ويظهر الشكل نفسه على الشاشة. المقارنة الحرفيّة تفشل هنا، ولهذا تُطبَّع النصوص بصيغة NFC قبل أيّ مقارنة أو بحث برمجيّ.
• تشكيل الحرف الأخير فقط: الاكتفاء بحركة الإعراب على آخر الكلمة يفيد النحو لكنّه لا يكفي لتصحيح النطق داخل الكلمة؛ للنصوص التعليميّة شكِّل بنية الكلمة كاملة.

أنظمة تحويل النصّ إلى كلام (TTS) تُخمّن نطق الكلمات غير المشكَّلة من السياق، وتُخطئ كثيراً في الأسماء والمصطلحات والكلمات الملتبسة. إضافة التشكيل — ولو للكلمات الحرجة فقط — تُحسّن النطق مباشرةً في معظم المحرّكات، لأنّ الحركة تُزيل التخمين.

المجالات التي يظهر فيها الأثر بوضوح: الكتب الصوتيّة المولَّدة آليّاً، والتعليقات الصوتيّة لمنصّات التعليم الإلكترونيّ، وقارئات الشاشة التي يعتمد عليها المكفوفون في تصفّح المواقع. إن كان موقعك يخدم محتوى تعليميّاً أو دينيّاً، فالتشكيل ليس تحسيناً شكليّاً بل جزء من إتاحة المحتوى (Accessibility).

نصيحة عمليّة: قبل توليد ملفّ صوتيّ من نصّ طويل، جرّب فقرة واحدة بنسختين — مجرّدة ومشكَّلة — وقارن النطق بأذنك. كلمات مثل "عرض" و"علم" و"قدر" هي أوّل ما يجب تشكيله.

محرّكات البحث الكبرى (Elasticsearch، OpenSearch، Meilisearch، Typesense) تَدعم العربيّة عبر مُحلّلات (analyzers) مخصّصة تُجرّد التشكيل و تُطبّع الألف والياء قبل الفهرسة. النتيجة: بحث المستخدم عن كتب يَجد كَتَبَ و كُتُبو كاتب كذلك. بدون هذه الخطوة، الفهرس يَنقسم إلى عشرات الإصدارات للكلمة نفسها، و معدّل النقر على النتائج يَنهار.

في تطبيقات الذكاء الاصطناعيّ، الموازنة معاكسة: نماذج LLMs الحديثة (GPT-4o، Claude، Gemini) تَستفيد من التشكيل لأنّه يُقلّل غموض المعنى ويُحسّن جودة الترجمة و التلخيص. تجربة عمليّة: لخّص نصّاً عربيّاً مرّةً بدون تشكيل ومرّةً معه، وقارن — النصّ المُشكَّل يُقلّل أخطاء الفهم بوضوح، خاصّةً عند تعدّد الأفعال والأسماء المتشابهة كتابةً.

للمطوّرين السعوديّين الذين يَبنون مساعدات AI عربيّة (chatbots للبنوك، الصحّة، التعليم)، القاعدة العمليّة: فهرس البحث بدون تشكيل، و prompt الذكاء الاصطناعيّ مع تشكيل جزئيّ للمصطلحات الحرجة. هذا المزيج يَجمع بين دقّة الفهم وسهولة البحث.

التشكيل أداة قويّة لكنّها مكلفة. خصِّصها للحالات التي تحتاجها فعلاً — القرآن، الشعر، التعليم، إزالة الالتباس — واعتمد على التطبيع والبحث الذكيّ في باقي السياقات. أداتنا تُعطيك الأساسيات الثلاثة: إزالة سريعة، تطبيع مُتعدّد الخيارات، وتشكيل قاموسيّ للنصوص القصيرة الشائعة، كلّ ذلك في متصفّحك دون أن يُرسَل نصّك إلى أيّ خادم.