تقسيم النصوص العربية (Chunker)

في أنظمة التوليد المعزّز بالاسترجاع (RAG)، لا تُمرَّر مستنداتك للنموذج دفعةً واحدة. تُقسَّم إلى مقاطع (Chunks)، يُحوَّل كل مقطع إلى متّجه (Embedding)، ويُسترجَع أكثرها صلةً بسؤال المستخدم وقت الإجابة. جودة هذا التقسيم تحدّد سقف جودة النظام كلّه: مقاطع سيّئة تعني استرجاعاً سيّئاً مهما كان النموذج قويّاً.

هذه الأداة تساعدك على تجربة استراتيجيّات التقسيم على نصّك العربي مباشرةً داخل المتصفّح، لترى كيف تتغيّر المقاطع مع تغيّر الحجم والتداخل، قبل أن تبني خطّ معالجتك الفعلي.

المقطع الصغير (مثلاً 200–300 محرف) دقيق ومركّز لكنّه قد يفقد السياق المحيط. المقطع الكبير (1000+ محرف) يحمل سياقاً أغنى لكنّه قد يخلط عدّة أفكار فيضعف دقّة المطابقة ويستهلك من نافذة النموذج. لا يوجد رقم مثالي مطلق — يعتمد على طبيعة محتواك ونموذج الـ Embedding المستخدَم.

إذا قسّمت بحدّة عند حدود ثابتة، فقد تنقطع جملة أو فكرة بين مقطعين فيضيع المعنى. الحلّ تداخل جزئي: يبدأ المقطع التالي بإعادة آخر جُمَل المقطع السابق (مثلاً 10–20٪ تداخل). هذا يحافظ على استمراريّة السياق على حساب بعض التكرار في التخزين.

أسوأ تقسيم هو القطع عند عدد محارف ثابت بصرف النظر عن المعنى. الأفضل احترام الحدود الطبيعيّة: الفقرات أولاً، ثمّ الجُمَل. القطع عند نهاية فقرة أو جملة يحافظ على وحدة الفكرة. التقسيم الدلالي المتقدّم يجمع الجُمَل المتقاربة معنىً في مقطع واحد.

العربية تتحدّى التقسيم الساذج: لا توجد أحرف كبيرة لتمييز بدايات الجُمَل، وعلامات الترقيم قد تكون عربيّة (؟ ، ؛) أو لاتينيّة مختلطة، والكلمات تتّصل بلواحق وسوابق. عند احتساب "الحجم" انتبه إلى أنّ عدّ المحارف يختلف عن عدّ الرموز (Tokens) التي يراها النموذج؛ الكلمة العربيّة الواحدة قد تتجزّأ إلى عدّة رموز.

نظّف النص أولاً من المحارف غير المرئيّة والتشكيل الزائد إن لم يكن ضرورياً، ووحّد الأرقام، حتى لا تتلوّث المقاطع وتضعف جودة المتّجهات الناتجة.

لا تخزّن نصّ المقطع وحده. أرفق معه مصدره (اسم المستند، رقم الصفحة، العنوان الأقرب). هذه البيانات الوصفيّة ضروريّة لاحقاً لذكر المصادر في الإجابة (الاستشهادات) ولتصفية الاسترجاع حسب القسم أو الوثيقة. نظام RAG بلا مصادر يفقد قابليّة التحقّق.

ابدأ بتقسيم يحترم الفقرات بحجم متوسّط وتداخل خفيف، جرّبه على أسئلة حقيقيّة، وقِس جودة الاسترجاع. إن جاءت النتائج مشتّتة، صغّر الحجم؛ وإن فقدت السياق، كبّره أو زِد التداخل. التقسيم عمليّة تجريبيّة تُضبَط بالقياس لا بالتخمين.

بعد التقسيم، حوّل المقاطع إلى متّجهات عبر مولّد تضمينات النصوص العربية، ثم جهّزها بصيغة تجهيز قواعد بيانات المتّجهات JSONL، واختبر الاسترجاع عبر البحث الدلالي العربي.