تجهيز قواعد بيانات المتّجهات (JSONL)

في نظام RAG، يُحوَّل كل مقطع نصّي إلى متّجه عددي (Embedding) يمثّل معناه في فضاء عالي الأبعاد. عند سؤال المستخدم، نحوّل سؤاله لمتّجه ونبحث عن أقرب المتّجهات إليه (بحث التشابه). قاعدة بيانات المتّجهات هي المحرّك المتخصّص في هذا البحث على ملايين المتّجهات بسرعة عبر فهارس مثل HNSW.

تساعدك هذه الأداة على تجهيز بياناتك بصيغة JSONL — كائن واحد في كل سطر — وهي الصيغة القياسيّة لاستيراد المقاطع ومتّجهاتها وبياناتها الوصفيّة إلى معظم قواعد المتّجهات. كل المعالجة تجري في متصفّحك.

JSON الكلاسيكي (مصفوفة واحدة كبيرة) يجب تحميله بالكامل قبل المعالجة، ما يستهلك ذاكرة هائلة مع ملايين السجلّات. JSON Lines يحلّ هذا: كل سطر كائن مستقلّ يُقرأ ويُعالَج ويُحقَن على حدة. هذا ما تستخدمه الأنظمة الكبرى لتصدير واستيراد كميّات ضخمة بثبات في الذاكرة. كل سطر عادةً يحوي: المعرّف، النص، المتّجه، والبيانات الوصفيّة.

امتداد pgvector يضيف نوع متّجه وفهارس تشابه إلى PostgreSQL. ميزته الكبرى: لا بنية تحتيّة جديدة — تستفيد من قاعدتك ونسخها الاحتياطيّة وصلاحيّاتها، وتدمج البحث المتّجهي مع استعلامات SQL العاديّة. مناسب للمشاريع الصغيرة والمتوسّطة وحين تكون البيانات في Postgres بالفعل. حدوده تظهر عند مقاييس ضخمة جداً تتطلّب محرّكاً متخصّصاً.

Pinecone خدمة سحابيّة مُدارة لا تتولّى تشغيلها بنفسك: ترفع متّجهاتك وتبحث عبر API. ميزتها سهولة التوسّع وقلّة العبء التشغيلي. مقابل ذلك: تكلفة اشتراك، واعتماد على مزوّد خارجي، وبياناتك تغادر بنيتك — وهو اعتبار حسّاس للمحتوى الحكومي أو السرّي في المنطقة العربيّة.

Qdrant مكتوب بلغة Rust، سريع وفعّال في الذاكرة، يدعم التصفية الغنيّة على البيانات الوصفيّة جنباً إلى جنب مع بحث التشابه (مثلاً: ابحث في وثائق هذا القسم فقط). يمكنك تشغيله ذاتياً (Self-hosted) للسيطرة الكاملة على بياناتك، أو استخدام نسخته السحابيّة. خيار متوازن بين القوّة والسيطرة.

Weaviate مفتوح المصدر يقدّم بحثاً متّجهياً مع وحدات للبحث الهجين (متّجهي + كلمات مفتاحيّة) وميزات متقدّمة. مناسب للفرق التي تريد منصّة متكاملة وتقبل منحنى تعلّم أعلى وعبء تشغيلي أكبر مقابل المرونة.

البحث المتّجهي ممتاز للمعنى لكنّه قد يخفق في المصطلحات الدقيقة والأسماء والأرقام (رقم نظام، اسم شركة). البحث بالكلمات المفتاحيّة عكسه. الدمج بينهما (Hybrid Search) يجمع الأفضل. هذا مهمّ بشكل خاصّ للعربية حيث تتعدّد صيغ الكلمة الواحدة؛ احرص أن تدعم قاعدتك البحث الهجين أو خطّط لإضافته.

إن كنت على PostgreSQL وحجمك معتدل: ابدأ بـ pgvector لبساطته. إن أردت أقلّ عبء تشغيلي وقَبِلت خدمة خارجيّة: Pinecone. إن أردت أداءً عالياً مع سيطرة على بياناتك (مهمّ للخصوصيّة في منطقتنا): Qdrant ذاتي الاستضافة. وإن أردت منصّة غنيّة بالميزات: Weaviate. القرار يوازن بين الحجم، الميزانيّة، الخبرة التشغيليّة، ومتطلّبات سيادة البيانات.

تأكّد من أنّ كل سجلّ يحمل معرّفاً فريداً، ونصّ المقطع، ومتّجهاً بالأبعاد الصحيحة المطابقة لنموذج الـ Embedding، وبيانات وصفيّة كافية (المصدر، القسم، التاريخ) للتصفية والاستشهاد. وحّد ترميز النص العربي (UTF-8) ونظّفه من المحارف غير المرئيّة قبل التصدير إلى JSONL.

قبل هذه الخطوة قسّم نصّك عبر تقسيم النصوص العربية وولّد التضمينات عبر مولّد التضمينات العربية، وبعد التجهيز جرّب البحث الدلالي وبنّاء استعلامات RAG.