ميتا: Llama 3 يتفوق على معظم النماذج الأخرى
قالت ميتا في تدوينة إن نموذجها اللغوي الكبير Llama يتفوق على معظم نماذج الذكاء الاصطناعي الحالية، وذلك بعد توفيرها لنموذج Llama 3 لمقدمي الخدمات السحابية، مثل AWS.
وطرحت الشركة إصدارين من Llama 3، يحتوي أحدهما مقدار 8 مليارات معلمة، في حين يحتوي الآخر مقدار 70 مليار معلمة.
ويقدم النموذج في الوقت الحالي استجابات نصية فقط، مع أن ميتا تقول إن هذه قفزة كبيرة مقارنةً بالإصدار السابق.
وأظهر Llama 3 تنوعًا كبيرًا في الإجابة عن المطالبات، وكان لديه عدد قليل من حالات الرفض الكاذب عندما رفض الرد على الأسئلة، وكان بإمكانه التفكير بطريقة فضلى.
وتقول ميتا أيضًا إن Llama 3 يفهم تعليمات إضافية ويكتب تعليمات برمجية فضلى مقارنةً بالسابق.
وتدعي ميتا أن كلا إصداري Llama 3 يتفوقان على نماذج ذات حجم مماثل، مثل Gemma و Gemini من جوجل و Mistral 7B و Claude 3 من أنثروبيك في بعض اختبارات القياس.
وفي معيار MMLU، الذي يقيس المعرفة العامة عادةً، كان أداء إصدار نموذج ميتا المزود بمقدار 8 مليارات معلمة أفضل بكثير من كل من Gemma 7B و Mistral 7B، في حين تفوق الإصدار المزود بمقدار 70 مليار معلمة قليلًا على Gemini Pro 1.5.
وتجدر الإشارة إلى أن اختبارات الذكاء الاصطناعي المعيارية غير كاملة، مع أنها مفيدة في فهم مدى قوة النموذج.
وتشير ميتا إلى أن المُقيمين البشريين منحوا Llama 3 علامة عليا مقارنةً بالنماذج الأخرى، ويشمل ذلك GPT-3.5 من OpenAI.
وتقول الشركة إنها أنشأت مجموعة بيانات جديدة للمُقيمين البشريين لمحاكاة سيناريوهات استخدام Llama 3 في العالم الحقيقي.
وتضمنت مجموعة البيانات هذه حالات استخدام، مثل طلب النصيحة والتلخيص والكتابة الإبداعية.
وأوضحت ميتا أن الفريق الذي عمل على النموذج لم يتمكن من الوصول إلى بيانات التقييم الجديدة هذه، ولم يؤثر ذلك في أداء النموذج.
وقالت ميتا في التدوينة: “تحتوي مجموعة التقييم هذه مقدار 1800 مطالبة تغطي ما يصل إلى 12 حالة استخدام رئيسية، وهي طلب النصيحة والعصف الذهني والتصنيف والإجابة عن الأسئلة ذات الأجوبة المحددة والبرمجة والكتابة الإبداعية والاستخلاص واقتباس الشخصية والإجابة عن الأسئلة ذات الأجوبة المتعددة والاستدلال وإعادة الكتابة والتلخيص”.
ومن المتوقع أن يحصل Llama 3 على أحجام أكبر للنماذج يمكنها فهم سلاسل طويلة من التعليمات والبيانات وأن يكون قادرًا على تقديم استجابات متعددة الوسائط، مثل توليد صورة أو تحويل ملف صوتي إلى ملف نصي.
وتقول ميتا إنها تدرب حاليًا الإصدارات الكبيرة الحجم التي تحتوي أكثر من 400 مليار معلمة، والتي يمكنها تعلم أنماط أكثر تعقيدًا مقارنةً بالإصدارات الصغيرة الحجم من النموذج.
