محتويات المقالة:
- مقدمة: التحدي الأساسي للهلوسة
- ما هي الهلوسات ولماذا تحدث؟
- المشكلة في الحوافز: التقييمات تشجع على التخمين
- الحل المقترح: تعديل نماذج التقييم
- أبعد من التدريب المسبق
- التداعيات على الصناعة
- الخاتمة: نحو ذكاء اصطناعي أكثر صدقاً
مقدمة: التحدي الأساسي للهلوسة
تتساءل ورقة بحثية جديدة من OpenAI عن سبب استمرار نماذج اللغة الكبيرة مثل GPT-5 وروبوتات الدردشة مثل ChatGPT في الهلوسة وما إذا كان يمكن فعل أي شيء لتقليل تلك الهلوسات. تعرف OpenAI الهلوسات بأنها «عبارات معقولة ولكنها خاطئة يتم إنشاؤها بواسطة نماذج اللغة»، وتعترف بأنه على الرغم من التحسينات، تظل الهلوسات «تحدياً أساسياً لجميع نماذج اللغة الكبيرة» – تحدياً لن يتم القضاء عليه تماماً أبداً.
ما هي الهلوسات ولماذا تحدث؟
لتوضيح هذه النقطة، يقول الباحثون إنهم عندما سألوا «روبوت دردشة مستخدماً على نطاق واسع» عن عنوان أطروحة الدكتوراه لآدم تومان كالاي (أحد مؤلفي الورقة)، حصلوا على ثلاث إجابات مختلفة، كلها خاطئة. ثم سألوا عن تاريخ ميلاده وتلقوا ثلاثة تواريخ مختلفة، مرة أخرى، كلها خاطئة. يقترح الباحثون أن الهلوسات تنشأ، جزئياً، بسبب عملية التدريب المسبق التي تركز على جعل النماذج تتنبأ بالكلمة التالية بشكل صحيح، دون وجود علامات صواب أو خطأ مرتبطة ببيانات التدريب.
المشكلة في الحوافز: التقييمات تشجع على التخمين
مع ذلك، يركز الحل المقترح في الورقة بشكل أقل على عملية التدريب المسبق الأولية وأكثر على كيفية تقييم نماذج اللغة الكبيرة. تجادل الورقة بأن نماذج التقييم الحالية لا تسبب الهلوسات نفسها، لكنها «تضع الحوافز الخاطئة». يقارن الباحثون هذه التقييمات بنوع اختبارات الاختيار من متعدد حيث يكون التخمين العشوائي منطقياً، لأن «قد تكون محظوظاً وتكون على صواب»، بينما ترك الإجابة فارغة «يضمن صفراً».
الحل المقترح: تعديل نماذج التقييم
الحل المقترح، إذن، هو تعديل كيفية تسجيل هذه التقييمات. تقول OpenAI إن تقييمات النماذج تحتاج إلى «معاقبة الأخطاء الواثقة أكثر من معاقبة عدم اليقين، وإعطاء رصيد جزئي للتعبيرات المناسبة عن عدم اليقين». يجادل الباحثون بأنه لا يكفي إدخال «بعض الاختبارات الجديدة المدركة لعدم اليقين على الجانب». بدلاً من ذلك، «يجب تحديث التقييمات المستخدمة على نطاق واسع والقائمة على الدقة بحيث تثبط طريقة تسجيلها التخمين».
أبعد من التدريب المسبق
هذا النهج مثير للاهتمام لأنه يحول التركيز من محاولة «إصلاح» النموذج أثناء التدريب إلى تغيير البيئة التي يتم فيها تقييمه. إذا كانت لوحات النتائج الرئيسية تكافئ التخمينات المحظوظة، فستستمر النماذج في تعلم التخمين. من خلال تغيير قواعد اللعبة، تأمل OpenAI في تحفيز تطوير نماذج أكثر حذراً وصدقاً.
التداعيات على الصناعة
إذا تم تبني هذا النهج على نطاق واسع، فقد يؤدي إلى تغيير كبير في كيفية قياس ومقارنة نماذج الذكاء الاصطناعي. بدلاً من التركيز فقط على مقاييس الدقة الخام، قد تبدأ الصناعة في تقييم النماذج بناءً على قدرتها على معرفة متى لا تعرف شيئاً. هذا يمكن أن يؤدي إلى روبوتات دردشة أكثر موثوقية وأماناً، والتي تكون أقل عرضة لتضليل المستخدمين بمعلومات خاطئة ولكنها تبدو مقنعة.
الخاتمة: نحو ذكاء اصطناعي أكثر صدقاً
تقدم ورقة OpenAI البحثية منظوراً جديداً لمشكلة الهلوسة المستعصية. من خلال الإشارة إلى أن الحوافز السيئة في عملية التقييم قد تكون جزءاً كبيراً من المشكلة، فإنها تفتح طريقاً جديداً محتملاً للتحسين. إن بناء ذكاء اصطناعي يمكنه أن يقول «لا أعرف» بثقة قد يكون بنفس أهمية بناء ذكاء اصطناعي يمكنه الإجابة على أسئلتنا.
