الحاسوب لا يتعامل مع كلمة «طبيب» كما نتعامل معها نحن. بالنسبة إليه، النص في صورته الخام ليس معنى يمكن قياسه أو مقارنته.
لكن أنظمة الذكاء الاصطناعي تحتاج إلى معرفة أن «طبيب» أقرب إلى «ممرضة» من «جبل»، وأن سؤالًا عن خفض المصاريف قد يكون قريبًا من مقال عنوانه «ترشيد النفقات» حتى لو لم تتطابق الكلمات.
هنا يأتي دور التضمينات (Embeddings): تمثيلات عددية تساعد النموذج على مقارنة البيانات والعثور على العلاقات بينها.
ما هو التضمين؟
التضمين هو تمثيل عنصر—مثل كلمة أو جملة أو صورة أو منتج—بمتجه، أي قائمة مرتبة من الأرقام. قد يحتوي هذا المتجه على مئات أو آلاف القيم، وليس رقمًا واحدًا لكل كلمة.
تتعلم هذه القيم بطريقة تجعل العناصر المتشابهة وفق المهمة أو بيانات التدريب أقرب إلى بعضها داخل ما يسمى فضاء التضمين. يمكن بعد ذلك استخدام مقاييس رياضية، مثل تشابه جيب التمام أو حاصل الضرب النقطي أو المسافة الإقليدية، لتقدير درجة القرب.
تخيل خريطة ضخمة لا تمثل الشمال والجنوب فقط، بل أبعادًا كثيرة لا نستطيع رؤيتها مباشرة. لكل عنصر موقع في هذه الخريطة، والمسافة بين المواقع تساعد النظام على اكتشاف التشابه.
هل التضمين يحوّل المعنى إلى أرقام؟
هذه عبارة مفيدة للتبسيط، لكنها ليست دقيقة حرفيًا. التضمين لا يحفظ «المعنى الحقيقي» للكلمة داخل كل رقم، ولا نستطيع عادة تفسير كل بُعد بمفرده.
الأدق أن نقول إنه يتعلم تمثيلًا عدديًا يحافظ على علاقات مفيدة للمهمة. فإذا استُخدم النموذج للبحث الدلالي، فقد تتقارب الجمل المتشابهة في الموضوع أو المقصد. وإذا استُخدم لنظام توصيات، فقد تتقارب المنتجات التي يختارها مستخدمون متشابهون.
لذلك يعتمد معنى القرب على النموذج والبيانات وطريقة التدريب. ليست كل نماذج التضمين خريطة عالمية واحدة، وقد تعطي النماذج المختلفة متجهات ونتائج مختلفة للنص نفسه.
كيف يتعلم النموذج هذه المواقع؟
تعتمد طرق كثيرة على فكرة أن العناصر التي تظهر في سياقات متشابهة غالبًا ما تحمل علاقات مفيدة. تظهر كلمة «قهوة» قرب كلمات مثل «فنجان» و«صباح» و«شرب»، وتظهر كلمة «شاي» في سياقات قريبة، فتتعلم النماذج تمثيلات متقاربة لهما.
قد تتعلم نماذج أخرى من أزواج الأسئلة والأجوبة، أو من الصور وأوصافها، أو من سلوك المستخدمين في أنظمة التوصية. الهدف ليس حفظ قائمة يدوية من العلاقات، بل تعديل الأرقام أثناء التدريب حتى تصبح المقارنات مفيدة للمهمة المطلوبة.
ما الفرق بين التضمينات الثابتة والسياقية؟
كانت نماذج مثل Word2Vec تعطي كل كلمة متجهًا ثابتًا واحدًا. وهذا يسبب مشكلة للكلمات متعددة المعاني: كلمة «عين» قد تعني عضو البصر أو نبع الماء، لكن التمثيل الثابت لا يميّز السياق بسهولة.
أما النماذج الحديثة فغالبًا تنتج تمثيلات سياقية؛ أي إن تمثيل الكلمة قد يتغير بحسب الجملة المحيطة بها. كما يمكن لنماذج مخصصة أن تولّد تضمينًا لجملة كاملة أو فقرة أو صورة بدل الاكتفاء بكلمة منفردة.
أين تُستخدم التضمينات؟
البحث الدلالي: العثور على نتائج قريبة من معنى السؤال، لا النتائج التي تكرر الكلمات نفسها فقط.
الاسترجاع المعزّز بالتوليد (RAG): تقسيم الوثائق إلى مقاطع، إنشاء تضمين لكل مقطع، ثم استرجاع المقاطع الأقرب إلى سؤال المستخدم وإرسالها إلى النموذج.
أنظمة التوصية: مقارنة المستخدمين أو المنتجات أو المحتوى للعثور على اقتراحات ذات صلة.
التجميع والتصنيف: جمع النصوص أو الصور المتشابهة، أو استخدام التضمينات كمدخلات لنموذج تصنيف.
كشف التشابه والتكرار: اكتشاف نصوص متقاربة المعنى حتى لو اختلفت صياغتها.
هذه الاستخدامات لا تعمل تلقائيًا لمجرد وجود المتجهات؛ جودة النتائج تعتمد على النموذج، وطريقة تقسيم البيانات، ومقياس التشابه، والعتبة المختارة، وجودة التقييم.
ما علاقة التضمين بالـToken؟
الـToken وحدة ينتجها نظام تقسيم النص. داخل النموذج اللغوي، تُحوَّل الرموز عادة إلى تمثيلات عددية يتعامل معها النموذج، ثم تتغير هذه التمثيلات أثناء معالجة السياق.
لكن واجهات embeddings المخصصة للبحث أو الاسترجاع قد تأخذ نصًا يحتوي على عدة Tokens وتعيد متجهًا واحدًا يمثل النص كله. لذلك ليس صحيحًا أن كل تضمين يساوي Token واحدًا، أو أن المصطلحين شيء واحد.
كيف نقيس التشابه؟
نقارن المتجهات بمقياس رياضي. تشابه جيب التمام، مثلًا، يقارن اتجاه متجهين أكثر من حجمهما. وكلما اقتربت النتيجة من قيمة التشابه القصوى وفق النظام المستخدم، اعتُبرا أقرب.
لكن الرقم لا يقول وحده إن النتيجة «صحيحة». يجب اختبار المقياس والعتبة على بيانات حقيقية من المشروع، لأن ما يعد متشابهًا في متجر إلكتروني قد لا يكون متشابهًا في بحث طبي أو قانوني.
ما حدود التضمينات؟
التضمينات تعكس الأنماط الموجودة في بيانات التدريب، وقد تعكس معها تحيزات أو نقصًا في تمثيل بعض اللغات والمجتمعات. كما أن قرب كلمتين لا يعني دائمًا اتفاقهما: «رخيص» و«غالٍ» قد يتقاربان لأنهما يُستخدمان في سياق الأسعار رغم تعارض المعنى.
وقد تضيع بعض التفاصيل عندما تختصر فقرة طويلة في متجه واحد. كذلك لا تُعد المسافة بين المتجهات دليلًا على الحقيقة، ولا تغني عن التحقق من المصادر في التطبيقات الحساسة.
عند استخدام خدمات خارجية لإنشاء التضمينات، يجب أيضًا مراجعة سياسات الخصوصية قبل إرسال وثائق سرية أو بيانات شخصية.
الخلاصة
التضمين تمثيل عددي كثيف لعنصر مثل النص أو الصورة داخل فضاء متعدد الأبعاد. يسمح هذا التمثيل للأنظمة بمقارنة العناصر واكتشاف العلاقات التي تعلمتها من البيانات.
إنه الأساس وراء البحث الدلالي، واسترجاع المقاطع من الوثائق، والتوصيات، والتجميع. لكنه ليس ترجمة كاملة للمعنى ولا دليلًا على الحقيقة؛ إنه أداة رياضية تتوقف فائدتها على النموذج والبيانات وطريقة التقييم.