تعمل تقنية الليزر من Microsoft على التخلص من عدم الدقة في LLM

خلال منتدى أبحاث مايكروسوفت لشهر يناير، أوضح ديبندرا ميسرا، أحد كبار الباحثين في Microsoft Research Lab NYC وAI Frontiers، كيف يمكن لتخفيض تصنيف الطبقة الانتقائية (أو LASER) أن يجعل نماذج اللغة الكبيرة أكثر دقة.

باستخدام الليزر، يمكن للباحثين “التدخل” واستبدال مصفوفة وزن واحدة بمصفوفة وزن أصغر تقريبًا. الأوزان هي نماذج الاتصالات السياقية التي تصنعها. كلما كان الوزن أثقل، زاد اعتماد النموذج عليه. لذا، هل استبدال شيء ما بمزيد من الارتباطات والسياقات يجعل النموذج أقل دقة؟ وبناءً على نتائج الاختبار، فإن الإجابة المدهشة هي لا.

“نحن نقوم بالتدخل باستخدام الليزر في ماجستير إدارة الأعمال، لذلك يتوقع المرء أن ترتفع خسارة النموذج لأننا نقوم بمزيد من التقريب، مما يعني أن أداء النموذج سيكون سيئًا، صحيح، لأننا نتخلص من المعلومات من ماجستير إدارة الأعمال” وقال ميسرا: “الذي تم تدريبه على كميات كبيرة من البيانات”. “ولكن لدهشتنا، وجدنا أنه إذا تم تنفيذ النوع الصحيح من التدخل بالليزر، فإن خسارة النموذج لا ترتفع بل تنخفض فعليًا.”

وقال ميسرا إن فريقه استخدم الليزر بنجاح في ثلاثة نماذج مختلفة مفتوحة المصدر: RoBERTa، وLlama 2، وEleuther’s GPT-J. وقال إنه في بعض الأحيان زاد تحسين النموذج بنسبة 20 إلى 30 نقطة مئوية. على سبيل المثال، ارتفع أداء GPT-J للتنبؤ بالجنس بناءً على السيرة الذاتية من دقة 70.9 بالمائة إلى 97.5 بالمائة بعد تدخل الليزر.