معركة المئة نموذج في ظل ضجة النماذج الكبيرة للذكاء الاصطناعي
في الشهر الماضي، شهدت مجال الذكاء الاصطناعي "حرب الحيوانات". من جهة، هناك Llama من Meta، الذي حظي بشعبية كبيرة بين المطورين بفضل خصائصه مفتوحة المصدر. بعد أن استندت الشركة اليابانية NEC إلى أوراق Llama البحثية ورموزها، قامت بسرعة بتطوير نسخة من ChatGPT باللغة اليابانية، مما ساهم في حل اختناق تطوير الذكاء الاصطناعي في اليابان.
الطرف الآخر هو نموذج كبير يسمى Falcon. في مايو من هذا العام ، تم إطلاق Falcon-40B ، متجاوزًا Llama ليحتل المركز الأول في تصنيف LLM مفتوح المصدر. تم إعداد هذه القائمة من قبل مجتمع النماذج المفتوحة المصدر ، الذي يوفر معايير تقييم قدرات LLM وترتيبها. يتناوب Llama و Falcon على الصدارة في القائمة.
بعد إصدار Llama 2، استعاد الصدارة مؤقتًا؛ ولكن في بداية سبتمبر، أطلق Falcon إصدار 180B، ليحقق مرة أخرى مرتبة أعلى.
من المثير للاهتمام أن مطوري Falcon هم معهد الابتكار التكنولوجي في أبوظبي، عاصمة الإمارات، وليس شركة تكنولوجيا. وأعلنت الإمارات الرسمية أن المشاركة في تنافس الذكاء الاصطناعي تهدف إلى تغيير المشهد السائد.
في اليوم الذي يلي إصدار Falcon 180B، تم اختيار وزير الذكاء الاصطناعي في الإمارات في قائمة "أكثر 100 شخصية تأثيرًا في مجال الذكاء الاصطناعي" في مجلة تايم، إلى جانب "أب الذكاء الاصطناعي" جيفري هينتون وألتمان من OpenAI وغيرهم.
اليوم، دخل مجال الذكاء الاصطناعي مرحلة ازدهار متنوعة. الدول والشركات التي تمتلك قدرًا معينًا من المال تحاول جميعها إنشاء نسخ محلية من ChatGPT. فقط في منطقة الخليج، هناك العديد من المشاركين. في أغسطس، قامت المملكة العربية السعودية بشراء أكثر من 3000 شريحة H100 للجامعات المحلية، لاستخدامها في تدريب LLM.
علق المستثمر زو شياوهو قائلاً: في ذلك الوقت، كان يُعتقد أن ريادة الأعمال في الإنترنت تفتقر إلى الحواجز، والآن أصبحت ريادة الأعمال في نموذج التكنولوجيا الصلبة تتحول إلى معركة بين مئات النماذج.
لماذا أصبحت التكنولوجيا الصلبة التي كانت تُعتبر في الأصل من المجالات ذات الحواجز العالية مشروعًا تتنافس الدول على تطويره؟
تحويل الثورة في الذكاء الاصطناعي
بغض النظر عن الجنسية، فإن النماذج الكبيرة الحالية بما في ذلك سلسلة GPT تعتمد جميعها على خوارزمية Transformer. في عام 2017، قام ثمانية علماء من جوجل بنشر خوارزمية Transformer في ورقة بحثية بعنوان "Attention Is All You Need"، والتي أصبحت ثالث أكثر ورقة بحثية تم الاستشهاد بها في تاريخ الذكاء الاصطناعي، وهي أيضًا المفتاح لهذه الموجة الحالية من الذكاء الاصطناعي.
في السابق، كانت "تعليم الآلة القراءة" مشكلة صعبة في الأكاديميا. على عكس التعرف على الصور، فإن القراءة البشرية تعتمد على فهم السياق. كانت الشبكات العصبية المبكرة تواجه صعوبة في فهم النصوص الطويلة، وغالبًا ما كانت تحدث مشاكل في الترجمة.
في عام 2014، اقترح عالم Google إيليا استخدام الشبكات العصبية التكرارية (RNN) لمعالجة اللغة الطبيعية، مما زاد بشكل كبير من أداء ترجمة Google. أدخلت RNN "تصميمًا تكراريًا"، مما يمنح الشبكة العصبية القدرة على دمج السياق.
أشعلت الشبكات العصبية المتكررة (RNN) حماس الأكاديميين، ولكنها تعاني من مشكلات مثل انخفاض الكفاءة وصعوبة معالجة عدد كبير من المعلمات. منذ عام 2015، بدأ شازيل وآخرون في تطوير بدائل لـ RNN، مما أدى في النهاية إلى ولادة المحوِّل (Transformer).
تتمثل تحسينات Transformer مقارنةً بـ RNN في نقطتين رئيسيتين: الأولى هي استخدام ترميز الموقع بدلاً من التصميم التكراري، مما يتيح حسابات متوازية ويزيد بشكل كبير من كفاءة التدريب؛ والثانية هي تعزيز قدرة الفهم على السياق. لقد حل Transformer العديد من المشكلات وأصبح تدريجياً الحل السائد في مجال معالجة اللغة الطبيعية.
في عام 2019 ، طورت OpenAI GPT-2 استنادًا إلى Transformer ، مما صدم الأكاديميين. بعد ذلك ، أصدرت Google Meena الأكثر قوة ، متجاوزة GPT-2 فقط من خلال زيادة المعلمات والقدرة الحسابية. أدت ولادة Transformer إلى إبطاء سرعة الابتكار في الخوارزميات ، وأصبحت عناصر الهندسة مثل البيانات والقدرة الحسابية وهندسة النموذج هي العناصر الرئيسية في المنافسة في الذكاء الاصطناعي.
يعتقد عالم الكمبيوتر وانغ إن دا أن الذكاء الاصطناعي أصبح تقنية عامة مثل الكهرباء والإنترنت. تتوقع مؤسسة التحليل Semi Analysis أن الشركات التكنولوجية الكبرى الأخرى ستتمكن قريبًا من إنشاء نماذج ضخمة تتنافس مع أداء GPT-4.
التحديات وراء معركة المئة نموذج
حتى يوليو من هذا العام، بلغ عدد النماذج الكبيرة في الصين 130 نموذجًا، متجاوزًا الولايات المتحدة التي لديها 114 نموذجًا. بالإضافة إلى الصين والولايات المتحدة، بدأت دول غنية أخرى أيضًا في تطوير نماذج كبيرة محلية، مثل Bhashini في الهند وHyperClova X في كوريا الجنوبية.
هذا الوضع يذكرنا بعصر فقاعة الإنترنت. على الرغم من أن Transformer قد خفض عتبة تطوير النماذج الكبيرة، إلا أن ذلك لا يعني أن بإمكان الجميع أن يصبحوا عمالقة في الذكاء الاصطناعي. على سبيل المثال، في "حرب الحيوانات"، على الرغم من أن Falcon قد تفوق في الترتيب، إلا أن تأثيره على Meta كان محدودًا.
بالنسبة للنماذج الكبيرة مفتوحة المصدر، فإن المجتمع النشط من المطورين هو القوة التنافسية الأساسية. قامت Meta بتحديد استراتيجية مفتوحة المصدر في عام 2015. في أكتوبر، أطلقت Meta أيضًا نشاط "تحفيز المبدعين في مجال الذكاء الاصطناعي"، حيث تمول المطورين الذين يستخدمون Llama 2 لحل المشكلات الاجتماعية.
حاليًا، أصبحت سلسلة Llama من Meta علامة فارقة في نماذج اللغة المفتوحة المصدر. بحلول أوائل أكتوبر، كان هناك 8 نماذج من أصل 10 في تصنيف Hugging Face يعتمدون على Llama 2، مع وجود أكثر من 1500 نموذج لغة مفتوحة المصدر يستخدم بروتوكوله.
على الرغم من أن تحسين الأداء هو الطريق الممكن، إلا أن معظم نماذج اللغة الكبيرة (LLM) لا تزال تعاني من فجوة واضحة مقارنةً بـ GPT-4. في اختبار AgentBench، حصل GPT-4 على 4.41 نقطة ليحتل المركز الأول، بينما جاء Claude في المركز الثاني برصيد 2.77 نقطة، وكانت النماذج مفتوحة المصدر غالبًا ما تتراوح حول 1 نقطة. هذه الفجوة تعود إلى قوة فريق OpenAI والخبرة المتراكمة على مدى فترة طويلة.
لذلك، تكمن القوة التنافسية الأساسية للنموذج الكبير في بناء النظام البيئي ( مفتوح المصدر ) أو القدرة على الاستنتاج البحت ( مغلق المصدر ). مع تطور مجتمع المصدر المفتوح، قد تتقارب أداءات نماذج LLM المختلفة. والسؤال الأكثر مباشرة هو أنه، باستثناء Midjourney، يبدو أنه لم يحقق أي نموذج كبير ربحًا بعد.
معضلة ربط القيمة
في أغسطس من هذا العام، أثار مقال يتنبأ بأن OpenAI قد تعلن إفلاسها بحلول نهاية عام 2024 اهتمامًا. أشار المقال إلى أن الخسائر المالية لـ OpenAI قد توسعت بسرعة منذ تطوير ChatGPT، حيث بلغت خسائرها حوالي 540 مليون دولار في عام 2022، مع اعتمادها على استثمارات مايكروسوفت. وهذا يعكس مشكلة عدم توازن التكاليف والعائدات التي تواجهها بشكل عام مزودات النماذج الكبيرة.
تسبب ارتفاع التكاليف في أن المستفيدين الرئيسيين حالياً هم شركات تصنيع الرقائق مثل إنفيديا. وفقاً لتقديرات Omdia، باعت إنفيديا أكثر من 300,000 شريحة H100 في الربع الثاني، وهو ما يعادل وزن 4.5 طائرات بوينغ 747. شهدت إنفيديا زيادة كبيرة في الأداء، حيث ارتفعت أسعار بيع الشرائح H100 المستعملة إلى 40,000-50,000 دولار، بينما كانت التكلفة الأصلية تزيد قليلاً عن 3,000 دولار.
أصبح تكلفة القوة الحاسوبية عقبة أمام تطور الصناعة. تقدر شركة سيكويا كابيتال أن الشركات التكنولوجية العالمية ستنفق 200 مليار دولار سنويًا لبناء بنية تحتية للنماذج الكبيرة، بينما الإيرادات السنوية للنماذج الكبيرة تصل إلى 75 مليار دولار على الأكثر، مما يعني وجود فجوة لا تقل عن 125 مليار دولار.
تواجه معظم شركات البرمجيات تحديات في إيجاد نماذج ربحية على الرغم من استثمارها مبالغ ضخمة. حتى عمالقة مثل مايكروسوفت وأدوبي يواجهون صعوبات. تعاني مايكروسوفت من خسائر تتراوح بين 20 إلى 80 دولارًا لكل مستخدم شهريًا من خلال GitHub Copilot بالتعاون مع OpenAI. قدمت أدوبي نظام نقاط لأداة Firefly AI للحد من الاستخدام المفرط من قبل المستخدمين.
لا تزال التطبيقات الرئيسية لمعظم النماذج الكبيرة محصورة في الدردشة. على الرغم من أن OpenAI و ChatGPT قد دفعتا ثورة الذكاء الاصطناعي، إلا أن قيمة تدريب النماذج الكبيرة فقط مشكوك فيها. مع تزايد المنافسة المتجانسة وزيادة النماذج مفتوحة المصدر، قد يتقلص الفضاء لمزودي النماذج الكبيرة فقط بشكل أكبر.
تمامًا كما أن نجاح iPhone 4 لا يكمن في معالج A4، بل في نظام تطبيقاته، فإن مستقبل النماذج الكبيرة سيعتمد أيضًا على القيمة التي تخلقها في التطبيقات العملية.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 13
أعجبني
13
6
مشاركة
تعليق
0/400
NoodlesOrTokens
· 07-25 10:23
لم أتوقع أن الإمارات تشارك في معركة نماذج الذكاء الاصطناعي!
شاهد النسخة الأصليةرد0
PumpBeforeRug
· 07-24 05:35
من غير المؤكد من هو الفائز الأخير، من الصعب القول～
شاهد النسخة الأصليةرد0
SlowLearnerWang
· 07-24 05:33
ماذا يعني هذا، الحيوانات تتقاتل ولا أحد يفوز.
شاهد النسخة الأصليةرد0
BankruptcyArtist
· 07-24 05:26
هذه المعلمات المتداخلة ليست أفضل من استخدام نموذج كبير مع نموذج كبير.
شاهد النسخة الأصليةرد0
SocialAnxietyStaker
· 07-24 05:21
ما فائدة كل هذا التنافس على التصنيفات، ليس كأنه دوري تصنيف.
معركة النماذج الكبرى للذكاء الاصطناعي: من ثورة المحولات إلى المنافسة البيئية
معركة المئة نموذج في ظل ضجة النماذج الكبيرة للذكاء الاصطناعي
في الشهر الماضي، شهدت مجال الذكاء الاصطناعي "حرب الحيوانات". من جهة، هناك Llama من Meta، الذي حظي بشعبية كبيرة بين المطورين بفضل خصائصه مفتوحة المصدر. بعد أن استندت الشركة اليابانية NEC إلى أوراق Llama البحثية ورموزها، قامت بسرعة بتطوير نسخة من ChatGPT باللغة اليابانية، مما ساهم في حل اختناق تطوير الذكاء الاصطناعي في اليابان.
الطرف الآخر هو نموذج كبير يسمى Falcon. في مايو من هذا العام ، تم إطلاق Falcon-40B ، متجاوزًا Llama ليحتل المركز الأول في تصنيف LLM مفتوح المصدر. تم إعداد هذه القائمة من قبل مجتمع النماذج المفتوحة المصدر ، الذي يوفر معايير تقييم قدرات LLM وترتيبها. يتناوب Llama و Falcon على الصدارة في القائمة.
بعد إصدار Llama 2، استعاد الصدارة مؤقتًا؛ ولكن في بداية سبتمبر، أطلق Falcon إصدار 180B، ليحقق مرة أخرى مرتبة أعلى.
من المثير للاهتمام أن مطوري Falcon هم معهد الابتكار التكنولوجي في أبوظبي، عاصمة الإمارات، وليس شركة تكنولوجيا. وأعلنت الإمارات الرسمية أن المشاركة في تنافس الذكاء الاصطناعي تهدف إلى تغيير المشهد السائد.
في اليوم الذي يلي إصدار Falcon 180B، تم اختيار وزير الذكاء الاصطناعي في الإمارات في قائمة "أكثر 100 شخصية تأثيرًا في مجال الذكاء الاصطناعي" في مجلة تايم، إلى جانب "أب الذكاء الاصطناعي" جيفري هينتون وألتمان من OpenAI وغيرهم.
اليوم، دخل مجال الذكاء الاصطناعي مرحلة ازدهار متنوعة. الدول والشركات التي تمتلك قدرًا معينًا من المال تحاول جميعها إنشاء نسخ محلية من ChatGPT. فقط في منطقة الخليج، هناك العديد من المشاركين. في أغسطس، قامت المملكة العربية السعودية بشراء أكثر من 3000 شريحة H100 للجامعات المحلية، لاستخدامها في تدريب LLM.
علق المستثمر زو شياوهو قائلاً: في ذلك الوقت، كان يُعتقد أن ريادة الأعمال في الإنترنت تفتقر إلى الحواجز، والآن أصبحت ريادة الأعمال في نموذج التكنولوجيا الصلبة تتحول إلى معركة بين مئات النماذج.
لماذا أصبحت التكنولوجيا الصلبة التي كانت تُعتبر في الأصل من المجالات ذات الحواجز العالية مشروعًا تتنافس الدول على تطويره؟
تحويل الثورة في الذكاء الاصطناعي
بغض النظر عن الجنسية، فإن النماذج الكبيرة الحالية بما في ذلك سلسلة GPT تعتمد جميعها على خوارزمية Transformer. في عام 2017، قام ثمانية علماء من جوجل بنشر خوارزمية Transformer في ورقة بحثية بعنوان "Attention Is All You Need"، والتي أصبحت ثالث أكثر ورقة بحثية تم الاستشهاد بها في تاريخ الذكاء الاصطناعي، وهي أيضًا المفتاح لهذه الموجة الحالية من الذكاء الاصطناعي.
في السابق، كانت "تعليم الآلة القراءة" مشكلة صعبة في الأكاديميا. على عكس التعرف على الصور، فإن القراءة البشرية تعتمد على فهم السياق. كانت الشبكات العصبية المبكرة تواجه صعوبة في فهم النصوص الطويلة، وغالبًا ما كانت تحدث مشاكل في الترجمة.
في عام 2014، اقترح عالم Google إيليا استخدام الشبكات العصبية التكرارية (RNN) لمعالجة اللغة الطبيعية، مما زاد بشكل كبير من أداء ترجمة Google. أدخلت RNN "تصميمًا تكراريًا"، مما يمنح الشبكة العصبية القدرة على دمج السياق.
أشعلت الشبكات العصبية المتكررة (RNN) حماس الأكاديميين، ولكنها تعاني من مشكلات مثل انخفاض الكفاءة وصعوبة معالجة عدد كبير من المعلمات. منذ عام 2015، بدأ شازيل وآخرون في تطوير بدائل لـ RNN، مما أدى في النهاية إلى ولادة المحوِّل (Transformer).
تتمثل تحسينات Transformer مقارنةً بـ RNN في نقطتين رئيسيتين: الأولى هي استخدام ترميز الموقع بدلاً من التصميم التكراري، مما يتيح حسابات متوازية ويزيد بشكل كبير من كفاءة التدريب؛ والثانية هي تعزيز قدرة الفهم على السياق. لقد حل Transformer العديد من المشكلات وأصبح تدريجياً الحل السائد في مجال معالجة اللغة الطبيعية.
في عام 2019 ، طورت OpenAI GPT-2 استنادًا إلى Transformer ، مما صدم الأكاديميين. بعد ذلك ، أصدرت Google Meena الأكثر قوة ، متجاوزة GPT-2 فقط من خلال زيادة المعلمات والقدرة الحسابية. أدت ولادة Transformer إلى إبطاء سرعة الابتكار في الخوارزميات ، وأصبحت عناصر الهندسة مثل البيانات والقدرة الحسابية وهندسة النموذج هي العناصر الرئيسية في المنافسة في الذكاء الاصطناعي.
يعتقد عالم الكمبيوتر وانغ إن دا أن الذكاء الاصطناعي أصبح تقنية عامة مثل الكهرباء والإنترنت. تتوقع مؤسسة التحليل Semi Analysis أن الشركات التكنولوجية الكبرى الأخرى ستتمكن قريبًا من إنشاء نماذج ضخمة تتنافس مع أداء GPT-4.
التحديات وراء معركة المئة نموذج
حتى يوليو من هذا العام، بلغ عدد النماذج الكبيرة في الصين 130 نموذجًا، متجاوزًا الولايات المتحدة التي لديها 114 نموذجًا. بالإضافة إلى الصين والولايات المتحدة، بدأت دول غنية أخرى أيضًا في تطوير نماذج كبيرة محلية، مثل Bhashini في الهند وHyperClova X في كوريا الجنوبية.
هذا الوضع يذكرنا بعصر فقاعة الإنترنت. على الرغم من أن Transformer قد خفض عتبة تطوير النماذج الكبيرة، إلا أن ذلك لا يعني أن بإمكان الجميع أن يصبحوا عمالقة في الذكاء الاصطناعي. على سبيل المثال، في "حرب الحيوانات"، على الرغم من أن Falcon قد تفوق في الترتيب، إلا أن تأثيره على Meta كان محدودًا.
بالنسبة للنماذج الكبيرة مفتوحة المصدر، فإن المجتمع النشط من المطورين هو القوة التنافسية الأساسية. قامت Meta بتحديد استراتيجية مفتوحة المصدر في عام 2015. في أكتوبر، أطلقت Meta أيضًا نشاط "تحفيز المبدعين في مجال الذكاء الاصطناعي"، حيث تمول المطورين الذين يستخدمون Llama 2 لحل المشكلات الاجتماعية.
حاليًا، أصبحت سلسلة Llama من Meta علامة فارقة في نماذج اللغة المفتوحة المصدر. بحلول أوائل أكتوبر، كان هناك 8 نماذج من أصل 10 في تصنيف Hugging Face يعتمدون على Llama 2، مع وجود أكثر من 1500 نموذج لغة مفتوحة المصدر يستخدم بروتوكوله.
على الرغم من أن تحسين الأداء هو الطريق الممكن، إلا أن معظم نماذج اللغة الكبيرة (LLM) لا تزال تعاني من فجوة واضحة مقارنةً بـ GPT-4. في اختبار AgentBench، حصل GPT-4 على 4.41 نقطة ليحتل المركز الأول، بينما جاء Claude في المركز الثاني برصيد 2.77 نقطة، وكانت النماذج مفتوحة المصدر غالبًا ما تتراوح حول 1 نقطة. هذه الفجوة تعود إلى قوة فريق OpenAI والخبرة المتراكمة على مدى فترة طويلة.
لذلك، تكمن القوة التنافسية الأساسية للنموذج الكبير في بناء النظام البيئي ( مفتوح المصدر ) أو القدرة على الاستنتاج البحت ( مغلق المصدر ). مع تطور مجتمع المصدر المفتوح، قد تتقارب أداءات نماذج LLM المختلفة. والسؤال الأكثر مباشرة هو أنه، باستثناء Midjourney، يبدو أنه لم يحقق أي نموذج كبير ربحًا بعد.
معضلة ربط القيمة
في أغسطس من هذا العام، أثار مقال يتنبأ بأن OpenAI قد تعلن إفلاسها بحلول نهاية عام 2024 اهتمامًا. أشار المقال إلى أن الخسائر المالية لـ OpenAI قد توسعت بسرعة منذ تطوير ChatGPT، حيث بلغت خسائرها حوالي 540 مليون دولار في عام 2022، مع اعتمادها على استثمارات مايكروسوفت. وهذا يعكس مشكلة عدم توازن التكاليف والعائدات التي تواجهها بشكل عام مزودات النماذج الكبيرة.
تسبب ارتفاع التكاليف في أن المستفيدين الرئيسيين حالياً هم شركات تصنيع الرقائق مثل إنفيديا. وفقاً لتقديرات Omdia، باعت إنفيديا أكثر من 300,000 شريحة H100 في الربع الثاني، وهو ما يعادل وزن 4.5 طائرات بوينغ 747. شهدت إنفيديا زيادة كبيرة في الأداء، حيث ارتفعت أسعار بيع الشرائح H100 المستعملة إلى 40,000-50,000 دولار، بينما كانت التكلفة الأصلية تزيد قليلاً عن 3,000 دولار.
أصبح تكلفة القوة الحاسوبية عقبة أمام تطور الصناعة. تقدر شركة سيكويا كابيتال أن الشركات التكنولوجية العالمية ستنفق 200 مليار دولار سنويًا لبناء بنية تحتية للنماذج الكبيرة، بينما الإيرادات السنوية للنماذج الكبيرة تصل إلى 75 مليار دولار على الأكثر، مما يعني وجود فجوة لا تقل عن 125 مليار دولار.
تواجه معظم شركات البرمجيات تحديات في إيجاد نماذج ربحية على الرغم من استثمارها مبالغ ضخمة. حتى عمالقة مثل مايكروسوفت وأدوبي يواجهون صعوبات. تعاني مايكروسوفت من خسائر تتراوح بين 20 إلى 80 دولارًا لكل مستخدم شهريًا من خلال GitHub Copilot بالتعاون مع OpenAI. قدمت أدوبي نظام نقاط لأداة Firefly AI للحد من الاستخدام المفرط من قبل المستخدمين.
لا تزال التطبيقات الرئيسية لمعظم النماذج الكبيرة محصورة في الدردشة. على الرغم من أن OpenAI و ChatGPT قد دفعتا ثورة الذكاء الاصطناعي، إلا أن قيمة تدريب النماذج الكبيرة فقط مشكوك فيها. مع تزايد المنافسة المتجانسة وزيادة النماذج مفتوحة المصدر، قد يتقلص الفضاء لمزودي النماذج الكبيرة فقط بشكل أكبر.
تمامًا كما أن نجاح iPhone 4 لا يكمن في معالج A4، بل في نظام تطبيقاته، فإن مستقبل النماذج الكبيرة سيعتمد أيضًا على القيمة التي تخلقها في التطبيقات العملية.