بينما تتجه الشركات الكبرى نحو نماذج ضخمة تشمل مئات المليارات من المعاملات، بدأ يظهر تيار جديد يركز على «نماذج اللغة المصغرة» بأعداد معاملات أقل. فلماذا هذا التحول وما المزايا؟
محتويات المقالة:
- من هيب إلى روزنبلات: جذور نفسية
- عيوب النماذج الضخمة وتكلفتها
- ما يميز النماذج المصغرة
- التقنية الأساسية: التقطير والتقليم
- آفاق المستقبل
- الأسئلة الشائعة
من هيب إلى روزنبلات: جذور نفسية
تعود بدايات الشبكات العصبية الاصطناعية لأبحاث نفسية في خمسينيات القرن الماضي، مثل عمل دونالد هيب الذي اقترح مبدأ تعزيز الروابط العصبية عند تزامن نشاط الخلايا. ثم طوّر فرانك روزنبلات نموذج «بيرسيبترون» مستلهماً من آليات التعلم في الدماغ، ما مهد الطريق للشبكات العميقة.
عيوب النماذج الضخمة وتكلفتها
رغم قوتها، تتطلب النماذج الضخمة حوسبة فائقة واستهلاكاً كبيراً للطاقة. أشارت تقارير إلى أن غوغل أنفقت نحو 191 مليون دولار لتدريب نموذج Gemini 1.0 Ultra. كما تستهلك هذه النماذج طاقة ضخمة في كل استجابة، ما يجعلها غير مناسبة للجميع.
ما يميز النماذج المصغرة
تستخدم عدداً أقل من المعاملات، ما يقلل تكلفة التدريب والطاقة. تتفوق في المهام المتخصصة إذا درّبت على بيانات ذات جودة عالية. وكما يشير زيكو كولتر من جامعة كارنيغي ميلون، «بالنسبة للعديد من المهام، يكفي نموذج بحجم 8 مليارات معامل».
التقنية الأساسية: التقطير والتقليم
يتعلم النموذج المصغر من النموذج الأكبر عبر ما يسمى «التقطير المعرفي»، حيث تزوَّد بيانات عالية الجودة. كما يمكن تطبيق «التقليم» لإزالة الوحدات غير الضرورية من النموذج الضخم دون فقد كبير في الأداء.
آفاق المستقبل
يتوقع الباحثون انتشار النماذج المصغرة لتوفير حلول خفيفة وسريعة، لا سيما في الهواتف الذكية والأجهزة المحدودة القدرة وفي الشركات الناشئة التي لا تستطيع تحمّل كلفة النماذج العملاقة. تبقى النماذج الضخمة مهمة للمهام واسعة النطاق، لكن المصغرة تشكل بديلاً عملياً لمهام محددة.
الأسئلة الشائعة
1. هل النماذج المصغرة أقل دقة دائماً؟
ليست بالضرورة، فقد تتفوق في مهام محددة بفضل تركيز التدريب على بيانات نقية وذات صلة وثيقة بموضوع المهمة.
2. كيف يمكن لشركة ناشئة الاستفادة؟
يمكنها تبني نموذج مصغر مفتوح المصدر أو منخفض التكلفة وتدريبه على بياناتها الخاصة، ما يخفض فاتورة البنية التحتية.
3. هل سيغني ذلك عن النماذج العملاقة؟
لا، إذ تبقى النماذج الضخمة أساسية للمهام العامة والمعقدة، بينما تشكل المصغرة خياراً مثالياً للمهام المتخصصة.
4. ما هو دور التقطير المعرفي تحديداً؟
هو عملية يستخلص فيها نموذج صغير المعلومات المفيدة من نموذج كبير، ما يختصر عليه الوقت والموارد.
5. هل توجد أمثلة بارزة على نجاح النماذج المصغرة؟
نعم، أصدرت شركات عدة نماذج بعدد معاملات قليل نسبياً لكنها حققت نتائج مميزة في تحليل نصوص محددة أو تلخيص محادثات.
