معركة النماذج المائة في مجال الذكاء الاصطناعي: مشكلة هندسية أم تحدي علمي؟
في الشهر الماضي، شهدت صناعة الذكاء الاصطناعي "حرب الحيوانات".
من جهة، نموذج Llama الذي أطلقته ميتا، يحظى بشعبية كبيرة بين المطورين بسبب طبيعته المفتوحة المصدر. بعد دراسة ورقة Llama المصدرية وشفرتها، طورت شركة يابانية بسرعة نسخة باللغة اليابانية من ChatGPT، مما حل مشكلة عنق الزجاجة في الذكاء الاصطناعي في اليابان.
الطرف الآخر هو نموذج كبير يسمى فالكون. في مايو من هذا العام، تم إطلاق Falcon-40B، متفوقًا على Llama ليحتل المرتبة الأولى في تصنيف LLM مفتوح المصدر. تم إعداد هذه القائمة بواسطة مجتمع النماذج المفتوحة، وتوفر معيارًا لتقييم قدرات LLM. بشكل أساسي، كانت القائمة تتبادل المراتب بين Llama وفالكون.
بعد إصدار Llama 2، تتصدر سلسلة Llama مؤقتًا؛ ولكن في بداية سبتمبر، أطلق Falcon إصدار 180B، ليحقق مرة أخرى تصنيفًا أعلى.
من المثير للاهتمام أن مطوري Falcon هم من معهد الابتكار التكنولوجي في أبوظبي، عاصمة الإمارات العربية المتحدة. وقد صرحت الحكومة الإماراتية: "نحن نشارك في هذا المجال بهدف تغيير اللاعبين الرئيسيين".
في اليوم التالي لإطلاق Falcon 180B، تم اختيار وزير الذكاء الاصطناعي في الإمارات ضمن قائمة "أكثر 100 شخص تأثيراً في مجال الذكاء الاصطناعي" التي أصدرتها مجلة تايم؛ ومن بين الذين تم اختيارهم أيضاً "أب الذكاء الاصطناعي" جيفري هينتون وآلتمان من OpenAI.
اليوم، دخل مجال الذكاء الاصطناعي مرحلة يتنافس فيها الكثيرون: طالما أن هناك قوة مالية معينة، فإن الدول والشركات تعمل جميعها على تطوير نماذج لغوية كبيرة خاصة بها. فقط في دائرة الدول الخليجية هناك أكثر من مشارك واحد - في أغسطس، اشترت المملكة العربية السعودية أكثر من 3000 شريحة H100 لجامعاتها المحلية لتدريب نماذج اللغة الكبيرة.
قال أحد المستثمرين:"في ذلك الوقت، كنت أستهين بابتكار نماذج الأعمال في الإنترنت، وأعتقد أنه لا يوجد حواجز: معركة مائة مجموعة، معركة مائة سيارة، معركة مائة بث؛ لم أتوقع أن ريادة الأعمال في النماذج الكبيرة للتكنولوجيا الصلبة لا تزال معركة مائة نموذج..."
كيف تحولت التكنولوجيا المتقدمة التي يُفترض أنها عالية الصعوبة إلى وضع موحد لكل دولة، حيث يتم إنتاج عشرة آلاف كيلوغرام لكل مو؟
Transformers تبتلع العالم
بفضل الورقة الشهيرة: "Attention Is All You Need"، تستطيع الشركات الناشئة الأمريكية، وعملاق التكنولوجيا الصينية، وأمراء النفط في الشرق الأوسط متابعة النماذج الكبيرة.
في عام 2017، قام ثمانية علماء كمبيوتر من جوجل بنشر خوارزمية Transformer للعالم في هذه الورقة. هذه هي الورقة الثالثة الأكثر اقتباسًا في تاريخ الذكاء الاصطناعي، وقد أدى ظهور Transformer إلى إشعال هذه الموجة من الحماس حول الذكاء الاصطناعي.
تستند جميع النماذج الكبيرة الحالية، بما في ذلك سلسلة GPT التي أحدثت ضجة في جميع أنحاء العالم، إلى أساس Transformer.
في السابق، كانت "تعليم الآلة القراءة" تمثل تحديًا أكاديميًا معترفًا به. على عكس التعرف على الصور، فإن القراءة البشرية لا تركز فقط على الكلمات والجمل الحالية، بل تأخذ في الاعتبار السياق لفهم المعنى.
كانت المدخلات في الشبكات العصبية المبكرة مستقلة عن بعضها البعض، مما جعلها غير قادرة على فهم النصوص الطويلة أو حتى المقالات بالكامل، مما أدى إلى مشكلات مثل ترجمة "开水间" إلى "open water room".
في عام 2014، انتقل عالم الكمبيوتر إيليا من جوجل إلى OpenAI ليحقق突破ًا. استخدم الشبكات العصبية التكرارية (RNN) لمعالجة اللغة الطبيعية، مما جعل أداء ترجمة جوجل يتفوق بسرعة على المنافسين.
اقترح RNN "تصميم دائري"، بحيث يتلقى كل خلية عصبية المدخلات الحالية ومدخلات اللحظة السابقة في نفس الوقت، مما يمنح الشبكة العصبية القدرة على "دمج السياق".
أثار ظهور RNN حماس البحث في الأوساط الأكاديمية، وقد أجرى لاحقًا مؤلف ورقة Transformer شازيل بحثًا معمقًا. ومع ذلك، سرعان ما اكتشف المطورون أن RNN تعاني من عيوب خطيرة:
يعتمد هذا الخوارزم على الحساب التتابعي، وعلى الرغم من أنه يحل مشكلة السياق، إلا أن كفاءته التشغيلية ليست عالية، مما يجعل من الصعب معالجة عدد كبير من المعلمات.
أدى التصميم المعقد لشبكات RNN إلى شعور شازيل بالملل بسرعة. لذلك، ابتداءً من عام 2015، بدأ شازيل وسبعة من المتشابهين في التفكير في تطوير بدائل لشبكات RNN، وكانت النتيجة النهائية هي Transformer.
بالمقارنة مع RNN، يتمتع Transformer بإصلاحين كبيرين:
أولاً، استبدال ترميز الموضع بتصميم التكرار في الشبكات العصبية المتكررة، مما يحقق حساباً متوازياً - وهذا يعزز بشكل كبير كفاءة تدريب Transformer، مما يمكّنه من معالجة كميات هائلة من البيانات، ودفع الذكاء الاصطناعي نحو عصر النماذج الكبيرة؛ ثانياً، تعزيز القدرة على فهم السياق.
بعد أن حل Transformer العديد من العيوب، أصبح تدريجياً الحل الرائد في معالجة اللغة الطبيعية NLP(، مما يشعرنا بأن "إذا لم يولد Transformer، ستظل NLP في ظلام طويل إلى الأبد". حتى إلريا تخلى عن RNN التي أنشأها بنفسه وتحول إلى Transformer.
بعبارة أخرى، فإن الـ Transformer هو سلف جميع النماذج الكبيرة اليوم، حيث حول النماذج الكبيرة من أبحاث نظرية إلى مشاكل هندسية بحتة.
في عام 2019، طورت OpenAI نموذج GPT-2 استنادًا إلى Transformer، مما أدهش الأوساط الأكاديمية. كرد فعل، أطلقت جوجل بسرعة نموذج AI الأكثر قوة ميينا.
بالمقارنة مع GPT-2، لا توجد أي ابتكارات في الخوارزمية الأساسية لـ Meena، بل زادت معلمات التدريب بمقدار 8.5 مرة، وزادت القدرة الحاسوبية بمقدار 14 مرة. كان المؤلف شازيل، الذي كتب ورقة Transform، مذهولًا من هذا "التراكم العنيف"، وعلى الفور كتب مذكرة بعنوان "Meena تلتهم العالم".
بعد ظهور المحولات، تباطأت سرعة الابتكار في الخوارزميات الأساسية في الأوساط الأكاديمية بشكل كبير. أصبحت عناصر الهندسة مثل هندسة البيانات، وحجم الحوسبة، وهندسة النماذج، تلعب دورًا رئيسيًا في منافسات الذكاء الاصطناعي، حيث يمكن لأي شركة تكنولوجيا تمتلك بعض القدرات التقنية تطوير نماذج كبيرة بنفسها.
لذلك، اقترح عالم الكمبيوتر أندرو نج في حديثه في جامعة ستانفورد: "الذكاء الاصطناعي هو مجموعة من الأدوات، بما في ذلك التعلم تحت إشراف، التعلم بدون إشراف، التعلم المعزز، والذكاء الاصطناعي التوليدي الحالي. كل هذه تقنيات عامة، مشابهة للتقنيات العامة الأخرى مثل الكهرباء والإنترنت."
بالطبع لا تزال OpenAI هي معيار LLM، لكن وكالات تحليل أشباه الموصلات تعتقد أن تنافسية GPT-4 تنبع من الحلول الهندسية - إذا كانت مفتوحة المصدر، يمكن لأي منافس أن يقوم بنسخها بسرعة.
يتوقع هذا المحلل أن الشركات التكنولوجية الكبرى الأخرى قد تتمكن قريبًا من إنشاء نماذج ضخمة تعادل أداء GPT-4.
خندق مبني على الزجاج
الآن، "معركة النماذج المئة" لم تعد مجرد استعارة، بل هي واقع موضوعي.
أظهرت التقارير ذات الصلة أنه حتى يوليو من هذا العام، بلغ عدد النماذج الكبيرة في البلاد 130، متجاوزًا 114 في الولايات المتحدة، مما حقق النجاح في التفوق. الأساطير المختلفة لم تعد كافية لتسمية الشركات التكنولوجية المحلية.
بجانب الصين والولايات المتحدة، حققت بعض الدول الأكثر ثراءً أيضًا "نموذج دولة واحدة": باستثناء اليابان والإمارات العربية المتحدة، هناك أيضًا Bhashini التي تقودها الحكومة الهندية وHyperClova X التي طورتها شركات الإنترنت الكورية.
تبدو هذه الأجواء وكأنها تعيدنا إلى تلك الحقبة التي كانت فيها الفقاعات تغطي الأرض، وكان رأس المال يجتاح عصر الإنترنت البدائي.
كما ذُكر سابقًا، جعلت تقنية Transformer النماذج الكبيرة مسألة هندسية بحتة، طالما أن هناك من يملك المال وبطاقات الرسوم، فإن الباقي يُترك للمعاملات. لكن رغم أن عائق الدخول ليس مرتفعًا، فهذا لا يعني أن الجميع لديه فرصة ليصبح عملاقًا في عصر الذكاء الاصطناعي.
المثال النموذجي المذكور في البداية "حرب الحيوانات" هو: على الرغم من أن فالكون يحتل مرتبة أعلى من لاما، إلا أنه من الصعب القول إنه أحدث تأثيرًا كبيرًا على ميتا.
من المعروف أن الشركات تفتح مصادر نتائجها البحثية، ليس فقط لمشاركة فوائد التكنولوجيا مع المجتمع، ولكن أيضًا لتشجيع ذكاء الجماهير. مع استخدام وتحسين Llama من قبل الأساتذة في الجامعات ومراكز البحث والشركات الصغيرة والمتوسطة، يمكن لشركة ميتا تطبيق هذه النتائج في منتجاتها.
بالنسبة للنماذج الكبيرة مفتوحة المصدر، فإن مجتمع المطورين النشط هو القدرة التنافسية الأساسية.
وفي عام 2015، عند تأسيس مختبر الذكاء الاصطناعي، حددت ميتا نبرة مفتوحة المصدر؛ بدأ زوكربيرغ بوسائل التواصل الاجتماعي، ويفهم أهمية "بناء علاقات جيدة مع الجمهور".
على سبيل المثال في أكتوبر، نظمت ميتا فعالية "تحفيز المبدعين في الذكاء الاصطناعي": المطورون الذين يستخدمون Llama 2 لحل القضايا الاجتماعية مثل التعليم والبيئة، لديهم فرصة للحصول على تمويل قدره 500000 دولار.
اليوم، أصبحت سلسلة Llama من Meta هي البوصلة لموديلات اللغة الكبيرة مفتوحة المصدر.
حتى أوائل أكتوبر، كان هناك 8 من بين أفضل 10 نماذج لغوية مفتوحة المصدر في قائمة LLM تعتمد على Llama 2، جميعها تستخدم بروتوكولها المفتوح. فقط على هذه المنصة، تجاوز عدد نماذج LLM التي تستخدم بروتوكول Llama 2 المفتوح 1500.
بالطبع، ليس من السيء تحسين الأداء مثل Falcon، ولكن لا يزال هناك فجوة واضحة بين معظم LLMs في السوق وGPT-4.
على سبيل المثال، في وقت سابق، حصل GPT-4 على 4.41 نقطة ليحتل المركز الأول في تصنيف اختبار AgentBench. تم إطلاق AgentBench بالتعاون بين جامعة تشينغوا وجامعة ولاية أوهايو وجامعة كاليفورنيا في بيركلي، ويهدف إلى تقييم قدرة نماذج اللغة الكبيرة على الاستدلال واتخاذ القرار في بيئات مفتوحة متعددة الأبعاد، حيث تغطي مهام الاختبار ثمانية بيئات مختلفة تشمل أنظمة التشغيل، وقواعد البيانات، والخرائط المعرفية، ومهام معارك البطاقات.
أظهرت نتائج الاختبار أن المركز الثاني Claude حصل فقط على 2.77 نقطة، والفجوة لا تزال كبيرة. أما بالنسبة لتلك النماذج المفتوحة المصدر الضخمة، فإن نتائج الاختبارات تتراوح غالبًا حول نقطة واحدة، وهي أقل من ربع GPT-4.
يجب أن نعلم أن GPT-4 تم إصداره في مارس من هذا العام، وهو إنجاز تحقق بعد أكثر من نصف عام من المنافسة العالمية. والسبب في هذه الفجوة هو فريق العلماء في OpenAI الذي يتمتع بكثافة "ذكاء" عالية وتجربته الطويلة في البحث في نماذج اللغة الكبيرة، مما يجعله دائمًا في الصدارة.
بمعنى آخر، فإن القدرة الأساسية للنماذج الكبيرة ليست في المعلمات، بل في بناء النظام البيئي ) مفتوح المصدر ( أو القدرة البحتة على الاستدلال ) مغلق المصدر (.
مع تزايد نشاط مجتمع المصدر المفتوح، قد تتقارب أداء كل نماذج اللغة الكبيرة، لأن الجميع يستخدم نماذج معمارية ومجموعات بيانات مشابهة.
المشكلة الأخرى الأكثر وضوحًا هي: يبدو أنه لا يوجد نموذج كبير آخر يمكن أن يحقق الأرباح بخلاف Midjourney.
نقطة مرجعية للقيمة
في أغسطس من هذا العام، أثار مقال بعنوان "من المحتمل أن تعلن OpenAI الإفلاس بحلول نهاية عام 2024" الانتباه. يمكن تلخيص مضمون المقال في جملة واحدة تقريبًا: سرعة استهلاك OpenAI للنقود سريعة جدًا.
تشير المقالة إلى أنه منذ تطوير ChatGPT، توسعت خسائر OpenAI بسرعة، حيث خسرت حوالي 540 مليون دولار فقط في عام 2022، ولا يمكنها سوى الانتظار حتى يدفع المستثمرون.
على الرغم من أن عنوان المقال مثير للجدل، إلا أنه يعكس الوضع الحالي للعديد من مزودي النماذج الكبيرة: توازن غير متكافئ بين التكاليف والإيرادات.
التكاليف المرتفعة أدت إلى أن الشركات الوحيدة التي تحقق أرباحاً كبيرة من الذكاء الاصطناعي حالياً هي إنفيديا، وربما تُضاف إليها بروكتر.
وفقًا لتقديرات شركة استشارية، باعت إنفيديا أكثر من 300,000 وحدة من H100 في الربع الثاني من هذا العام. هذه شريحة ذكاء اصطناعي، تتمتع بكفاءة عالية في تدريب الذكاء الاصطناعي، وتتنافس عليها شركات التكنولوجيا العالمية والمؤسسات البحثية. إذا تم تكديس هذه الـ 300,000 وحدة H100 معًا، فإن وزنها يعادل 4.5 طائرات بوينغ 747.
ارتفعت عائدات إنفيديا بشكل كبير، حيث زادت الإيرادات بنسبة 854% مقارنة بالعام الماضي، مما أثار دهشة وول ستريت. ومن الجدير بالذكر أن سعر H100 في سوق المستعمل قد ارتفع إلى 40-50 ألف دولار، بينما تكلفة المواد الخاصة به حوالي 3000 دولار فقط.
تعتبر تكاليف قوة الحوسبة المرتفعة في بعض الأحيان عقبة أمام تطوير الصناعة. وقد قامت إحدى الشركات برسم تقدير: من المتوقع أن تنفق شركات التكنولوجيا العالمية 200 مليار دولار سنويًا على بناء البنية التحتية للنماذج الكبيرة؛ بالمقارنة، فإن النماذج الكبيرة يمكن أن تحقق إيرادات تصل إلى 75 مليار دولار سنويًا فقط، مما يعني أن هناك فجوة لا تقل عن 125 مليار دولار.
علاوة على ذلك، باستثناء عدد قليل من الحالات مثل Midjourney، لم تتمكن معظم شركات البرمجيات من العثور على نموذج ربح بعد تحمل تكاليف ضخمة. خاصة أن أداء اثنين من رواد الصناعة - مايكروسوفت وأدوبي - لم يكن مرضيًا.
أداة توليد الشيفرة البرمجية AI GitHub Copilot التي طورتها مايكروسوفت بالتعاون مع OpenAI، رغم أنها تتقاضى 10 دولارات شهريًا، إلا أن مايكروسوفت تخسر 20 دولارًا شهريًا بسبب تكاليف المرافق، ويمكن أن يتسبب المستخدمون الكثيفون في خسارة مايكروسوفت 80 دولارًا شهريًا. بناءً على ذلك، من المحتمل أن يخسر Microsoft 365 Copilot الذي يتم تسعيره بـ 30 دولارًا أكثر.
بالمثل، أطلقت شركة أدوبي مؤخرًا أداة Firefly AI وأطلقت بسرعة نظام نقاط متكامل لمنع الإفراط في استخدامه مما يؤدي إلى خسارة الشركة. بمجرد أن يتجاوز المستخدم النقاط المخصصة له شهريًا، ستقوم أدوبي بتقليل سرعة الخدمة.
من المعروف أن مايكروسوفت وأدوبي هما عمالقة البرمجيات ذات سيناريوهات أعمال واضحة ولديهما عدد كبير من المستخدمين المدفوعين. بينما لا يزال معظم النماذج الكبيرة التي تتراكم فيها المعلمات تستخدم بشكل أساسي للدردشة.
لا يمكن إنكار أنه لولا ظهور OpenAI و ChatGPT، ربما لم تكن هذه الثورة في الذكاء الاصطناعي ستحدث على الإطلاق؛ ولكن في الوقت الحالي، قد يكون من المشكوك فيه قيمة تدريب النماذج الكبيرة.
ومع تزايد حدة المنافسة المتجانسة، وزيادة عدد النماذج مفتوحة المصدر، قد تتقلص مساحة البقاء لموردي النماذج الكبيرة فقط.
لم يكن سبب شهرة آيفون 4 هو معالج A4 بدقة 45 نانومتر، بل لأنه كان بإمكانه تشغيل لعبة النباتات ضد الزومبي ولعبة الطيور الغاضبة.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 10
أعجبني
10
7
مشاركة
تعليق
0/400
StableGeniusDegen
· 07-26 11:35
تبدو بعض النماذج الكبيرة مشغولة جدًا.
شاهد النسخة الأصليةرد0
consensus_whisperer
· 07-26 01:46
التنافس على القوائم مثل اللعب
شاهد النسخة الأصليةرد0
FallingLeaf
· 07-25 11:47
من غير المؤكد من سيفوز بعد.
شاهد النسخة الأصليةرد0
OnChain_Detective
· 07-23 15:02
تحليل النمط يظهر المنافسة بين اللاما والصقر تحمل مخاطر أمنية تقليدية... ابقوا متيقظين عائلتي
شاهد النسخة الأصليةرد0
SnapshotStriker
· 07-23 14:59
لنلعب سوياً في الخط!
شاهد النسخة الأصليةرد0
PrivateKeyParanoia
· 07-23 14:57
من هو الزعيم في حديقة الحيوان؟
شاهد النسخة الأصليةرد0
LightningPacketLoss
· 07-23 14:43
نماذجك الكبيرة تلعب الخاصة بك، وأنا ألعب حزمتي الخاصة.
معركة المئة نموذج في ظل حمى النماذج الكبيرة للذكاء الاصطناعي: مشكلة هندسية أم تحدي بحثي
معركة النماذج المائة في مجال الذكاء الاصطناعي: مشكلة هندسية أم تحدي علمي؟
في الشهر الماضي، شهدت صناعة الذكاء الاصطناعي "حرب الحيوانات".
من جهة، نموذج Llama الذي أطلقته ميتا، يحظى بشعبية كبيرة بين المطورين بسبب طبيعته المفتوحة المصدر. بعد دراسة ورقة Llama المصدرية وشفرتها، طورت شركة يابانية بسرعة نسخة باللغة اليابانية من ChatGPT، مما حل مشكلة عنق الزجاجة في الذكاء الاصطناعي في اليابان.
الطرف الآخر هو نموذج كبير يسمى فالكون. في مايو من هذا العام، تم إطلاق Falcon-40B، متفوقًا على Llama ليحتل المرتبة الأولى في تصنيف LLM مفتوح المصدر. تم إعداد هذه القائمة بواسطة مجتمع النماذج المفتوحة، وتوفر معيارًا لتقييم قدرات LLM. بشكل أساسي، كانت القائمة تتبادل المراتب بين Llama وفالكون.
بعد إصدار Llama 2، تتصدر سلسلة Llama مؤقتًا؛ ولكن في بداية سبتمبر، أطلق Falcon إصدار 180B، ليحقق مرة أخرى تصنيفًا أعلى.
من المثير للاهتمام أن مطوري Falcon هم من معهد الابتكار التكنولوجي في أبوظبي، عاصمة الإمارات العربية المتحدة. وقد صرحت الحكومة الإماراتية: "نحن نشارك في هذا المجال بهدف تغيير اللاعبين الرئيسيين".
في اليوم التالي لإطلاق Falcon 180B، تم اختيار وزير الذكاء الاصطناعي في الإمارات ضمن قائمة "أكثر 100 شخص تأثيراً في مجال الذكاء الاصطناعي" التي أصدرتها مجلة تايم؛ ومن بين الذين تم اختيارهم أيضاً "أب الذكاء الاصطناعي" جيفري هينتون وآلتمان من OpenAI.
اليوم، دخل مجال الذكاء الاصطناعي مرحلة يتنافس فيها الكثيرون: طالما أن هناك قوة مالية معينة، فإن الدول والشركات تعمل جميعها على تطوير نماذج لغوية كبيرة خاصة بها. فقط في دائرة الدول الخليجية هناك أكثر من مشارك واحد - في أغسطس، اشترت المملكة العربية السعودية أكثر من 3000 شريحة H100 لجامعاتها المحلية لتدريب نماذج اللغة الكبيرة.
قال أحد المستثمرين:"في ذلك الوقت، كنت أستهين بابتكار نماذج الأعمال في الإنترنت، وأعتقد أنه لا يوجد حواجز: معركة مائة مجموعة، معركة مائة سيارة، معركة مائة بث؛ لم أتوقع أن ريادة الأعمال في النماذج الكبيرة للتكنولوجيا الصلبة لا تزال معركة مائة نموذج..."
كيف تحولت التكنولوجيا المتقدمة التي يُفترض أنها عالية الصعوبة إلى وضع موحد لكل دولة، حيث يتم إنتاج عشرة آلاف كيلوغرام لكل مو؟
Transformers تبتلع العالم
بفضل الورقة الشهيرة: "Attention Is All You Need"، تستطيع الشركات الناشئة الأمريكية، وعملاق التكنولوجيا الصينية، وأمراء النفط في الشرق الأوسط متابعة النماذج الكبيرة.
في عام 2017، قام ثمانية علماء كمبيوتر من جوجل بنشر خوارزمية Transformer للعالم في هذه الورقة. هذه هي الورقة الثالثة الأكثر اقتباسًا في تاريخ الذكاء الاصطناعي، وقد أدى ظهور Transformer إلى إشعال هذه الموجة من الحماس حول الذكاء الاصطناعي.
تستند جميع النماذج الكبيرة الحالية، بما في ذلك سلسلة GPT التي أحدثت ضجة في جميع أنحاء العالم، إلى أساس Transformer.
في السابق، كانت "تعليم الآلة القراءة" تمثل تحديًا أكاديميًا معترفًا به. على عكس التعرف على الصور، فإن القراءة البشرية لا تركز فقط على الكلمات والجمل الحالية، بل تأخذ في الاعتبار السياق لفهم المعنى.
كانت المدخلات في الشبكات العصبية المبكرة مستقلة عن بعضها البعض، مما جعلها غير قادرة على فهم النصوص الطويلة أو حتى المقالات بالكامل، مما أدى إلى مشكلات مثل ترجمة "开水间" إلى "open water room".
في عام 2014، انتقل عالم الكمبيوتر إيليا من جوجل إلى OpenAI ليحقق突破ًا. استخدم الشبكات العصبية التكرارية (RNN) لمعالجة اللغة الطبيعية، مما جعل أداء ترجمة جوجل يتفوق بسرعة على المنافسين.
اقترح RNN "تصميم دائري"، بحيث يتلقى كل خلية عصبية المدخلات الحالية ومدخلات اللحظة السابقة في نفس الوقت، مما يمنح الشبكة العصبية القدرة على "دمج السياق".
أثار ظهور RNN حماس البحث في الأوساط الأكاديمية، وقد أجرى لاحقًا مؤلف ورقة Transformer شازيل بحثًا معمقًا. ومع ذلك، سرعان ما اكتشف المطورون أن RNN تعاني من عيوب خطيرة:
يعتمد هذا الخوارزم على الحساب التتابعي، وعلى الرغم من أنه يحل مشكلة السياق، إلا أن كفاءته التشغيلية ليست عالية، مما يجعل من الصعب معالجة عدد كبير من المعلمات.
أدى التصميم المعقد لشبكات RNN إلى شعور شازيل بالملل بسرعة. لذلك، ابتداءً من عام 2015، بدأ شازيل وسبعة من المتشابهين في التفكير في تطوير بدائل لشبكات RNN، وكانت النتيجة النهائية هي Transformer.
بالمقارنة مع RNN، يتمتع Transformer بإصلاحين كبيرين:
أولاً، استبدال ترميز الموضع بتصميم التكرار في الشبكات العصبية المتكررة، مما يحقق حساباً متوازياً - وهذا يعزز بشكل كبير كفاءة تدريب Transformer، مما يمكّنه من معالجة كميات هائلة من البيانات، ودفع الذكاء الاصطناعي نحو عصر النماذج الكبيرة؛ ثانياً، تعزيز القدرة على فهم السياق.
بعد أن حل Transformer العديد من العيوب، أصبح تدريجياً الحل الرائد في معالجة اللغة الطبيعية NLP(، مما يشعرنا بأن "إذا لم يولد Transformer، ستظل NLP في ظلام طويل إلى الأبد". حتى إلريا تخلى عن RNN التي أنشأها بنفسه وتحول إلى Transformer.
بعبارة أخرى، فإن الـ Transformer هو سلف جميع النماذج الكبيرة اليوم، حيث حول النماذج الكبيرة من أبحاث نظرية إلى مشاكل هندسية بحتة.
في عام 2019، طورت OpenAI نموذج GPT-2 استنادًا إلى Transformer، مما أدهش الأوساط الأكاديمية. كرد فعل، أطلقت جوجل بسرعة نموذج AI الأكثر قوة ميينا.
بالمقارنة مع GPT-2، لا توجد أي ابتكارات في الخوارزمية الأساسية لـ Meena، بل زادت معلمات التدريب بمقدار 8.5 مرة، وزادت القدرة الحاسوبية بمقدار 14 مرة. كان المؤلف شازيل، الذي كتب ورقة Transform، مذهولًا من هذا "التراكم العنيف"، وعلى الفور كتب مذكرة بعنوان "Meena تلتهم العالم".
بعد ظهور المحولات، تباطأت سرعة الابتكار في الخوارزميات الأساسية في الأوساط الأكاديمية بشكل كبير. أصبحت عناصر الهندسة مثل هندسة البيانات، وحجم الحوسبة، وهندسة النماذج، تلعب دورًا رئيسيًا في منافسات الذكاء الاصطناعي، حيث يمكن لأي شركة تكنولوجيا تمتلك بعض القدرات التقنية تطوير نماذج كبيرة بنفسها.
لذلك، اقترح عالم الكمبيوتر أندرو نج في حديثه في جامعة ستانفورد: "الذكاء الاصطناعي هو مجموعة من الأدوات، بما في ذلك التعلم تحت إشراف، التعلم بدون إشراف، التعلم المعزز، والذكاء الاصطناعي التوليدي الحالي. كل هذه تقنيات عامة، مشابهة للتقنيات العامة الأخرى مثل الكهرباء والإنترنت."
بالطبع لا تزال OpenAI هي معيار LLM، لكن وكالات تحليل أشباه الموصلات تعتقد أن تنافسية GPT-4 تنبع من الحلول الهندسية - إذا كانت مفتوحة المصدر، يمكن لأي منافس أن يقوم بنسخها بسرعة.
يتوقع هذا المحلل أن الشركات التكنولوجية الكبرى الأخرى قد تتمكن قريبًا من إنشاء نماذج ضخمة تعادل أداء GPT-4.
خندق مبني على الزجاج
الآن، "معركة النماذج المئة" لم تعد مجرد استعارة، بل هي واقع موضوعي.
أظهرت التقارير ذات الصلة أنه حتى يوليو من هذا العام، بلغ عدد النماذج الكبيرة في البلاد 130، متجاوزًا 114 في الولايات المتحدة، مما حقق النجاح في التفوق. الأساطير المختلفة لم تعد كافية لتسمية الشركات التكنولوجية المحلية.
بجانب الصين والولايات المتحدة، حققت بعض الدول الأكثر ثراءً أيضًا "نموذج دولة واحدة": باستثناء اليابان والإمارات العربية المتحدة، هناك أيضًا Bhashini التي تقودها الحكومة الهندية وHyperClova X التي طورتها شركات الإنترنت الكورية.
تبدو هذه الأجواء وكأنها تعيدنا إلى تلك الحقبة التي كانت فيها الفقاعات تغطي الأرض، وكان رأس المال يجتاح عصر الإنترنت البدائي.
كما ذُكر سابقًا، جعلت تقنية Transformer النماذج الكبيرة مسألة هندسية بحتة، طالما أن هناك من يملك المال وبطاقات الرسوم، فإن الباقي يُترك للمعاملات. لكن رغم أن عائق الدخول ليس مرتفعًا، فهذا لا يعني أن الجميع لديه فرصة ليصبح عملاقًا في عصر الذكاء الاصطناعي.
المثال النموذجي المذكور في البداية "حرب الحيوانات" هو: على الرغم من أن فالكون يحتل مرتبة أعلى من لاما، إلا أنه من الصعب القول إنه أحدث تأثيرًا كبيرًا على ميتا.
من المعروف أن الشركات تفتح مصادر نتائجها البحثية، ليس فقط لمشاركة فوائد التكنولوجيا مع المجتمع، ولكن أيضًا لتشجيع ذكاء الجماهير. مع استخدام وتحسين Llama من قبل الأساتذة في الجامعات ومراكز البحث والشركات الصغيرة والمتوسطة، يمكن لشركة ميتا تطبيق هذه النتائج في منتجاتها.
بالنسبة للنماذج الكبيرة مفتوحة المصدر، فإن مجتمع المطورين النشط هو القدرة التنافسية الأساسية.
وفي عام 2015، عند تأسيس مختبر الذكاء الاصطناعي، حددت ميتا نبرة مفتوحة المصدر؛ بدأ زوكربيرغ بوسائل التواصل الاجتماعي، ويفهم أهمية "بناء علاقات جيدة مع الجمهور".
على سبيل المثال في أكتوبر، نظمت ميتا فعالية "تحفيز المبدعين في الذكاء الاصطناعي": المطورون الذين يستخدمون Llama 2 لحل القضايا الاجتماعية مثل التعليم والبيئة، لديهم فرصة للحصول على تمويل قدره 500000 دولار.
اليوم، أصبحت سلسلة Llama من Meta هي البوصلة لموديلات اللغة الكبيرة مفتوحة المصدر.
حتى أوائل أكتوبر، كان هناك 8 من بين أفضل 10 نماذج لغوية مفتوحة المصدر في قائمة LLM تعتمد على Llama 2، جميعها تستخدم بروتوكولها المفتوح. فقط على هذه المنصة، تجاوز عدد نماذج LLM التي تستخدم بروتوكول Llama 2 المفتوح 1500.
بالطبع، ليس من السيء تحسين الأداء مثل Falcon، ولكن لا يزال هناك فجوة واضحة بين معظم LLMs في السوق وGPT-4.
على سبيل المثال، في وقت سابق، حصل GPT-4 على 4.41 نقطة ليحتل المركز الأول في تصنيف اختبار AgentBench. تم إطلاق AgentBench بالتعاون بين جامعة تشينغوا وجامعة ولاية أوهايو وجامعة كاليفورنيا في بيركلي، ويهدف إلى تقييم قدرة نماذج اللغة الكبيرة على الاستدلال واتخاذ القرار في بيئات مفتوحة متعددة الأبعاد، حيث تغطي مهام الاختبار ثمانية بيئات مختلفة تشمل أنظمة التشغيل، وقواعد البيانات، والخرائط المعرفية، ومهام معارك البطاقات.
أظهرت نتائج الاختبار أن المركز الثاني Claude حصل فقط على 2.77 نقطة، والفجوة لا تزال كبيرة. أما بالنسبة لتلك النماذج المفتوحة المصدر الضخمة، فإن نتائج الاختبارات تتراوح غالبًا حول نقطة واحدة، وهي أقل من ربع GPT-4.
يجب أن نعلم أن GPT-4 تم إصداره في مارس من هذا العام، وهو إنجاز تحقق بعد أكثر من نصف عام من المنافسة العالمية. والسبب في هذه الفجوة هو فريق العلماء في OpenAI الذي يتمتع بكثافة "ذكاء" عالية وتجربته الطويلة في البحث في نماذج اللغة الكبيرة، مما يجعله دائمًا في الصدارة.
بمعنى آخر، فإن القدرة الأساسية للنماذج الكبيرة ليست في المعلمات، بل في بناء النظام البيئي ) مفتوح المصدر ( أو القدرة البحتة على الاستدلال ) مغلق المصدر (.
مع تزايد نشاط مجتمع المصدر المفتوح، قد تتقارب أداء كل نماذج اللغة الكبيرة، لأن الجميع يستخدم نماذج معمارية ومجموعات بيانات مشابهة.
المشكلة الأخرى الأكثر وضوحًا هي: يبدو أنه لا يوجد نموذج كبير آخر يمكن أن يحقق الأرباح بخلاف Midjourney.
نقطة مرجعية للقيمة
في أغسطس من هذا العام، أثار مقال بعنوان "من المحتمل أن تعلن OpenAI الإفلاس بحلول نهاية عام 2024" الانتباه. يمكن تلخيص مضمون المقال في جملة واحدة تقريبًا: سرعة استهلاك OpenAI للنقود سريعة جدًا.
تشير المقالة إلى أنه منذ تطوير ChatGPT، توسعت خسائر OpenAI بسرعة، حيث خسرت حوالي 540 مليون دولار فقط في عام 2022، ولا يمكنها سوى الانتظار حتى يدفع المستثمرون.
على الرغم من أن عنوان المقال مثير للجدل، إلا أنه يعكس الوضع الحالي للعديد من مزودي النماذج الكبيرة: توازن غير متكافئ بين التكاليف والإيرادات.
التكاليف المرتفعة أدت إلى أن الشركات الوحيدة التي تحقق أرباحاً كبيرة من الذكاء الاصطناعي حالياً هي إنفيديا، وربما تُضاف إليها بروكتر.
وفقًا لتقديرات شركة استشارية، باعت إنفيديا أكثر من 300,000 وحدة من H100 في الربع الثاني من هذا العام. هذه شريحة ذكاء اصطناعي، تتمتع بكفاءة عالية في تدريب الذكاء الاصطناعي، وتتنافس عليها شركات التكنولوجيا العالمية والمؤسسات البحثية. إذا تم تكديس هذه الـ 300,000 وحدة H100 معًا، فإن وزنها يعادل 4.5 طائرات بوينغ 747.
ارتفعت عائدات إنفيديا بشكل كبير، حيث زادت الإيرادات بنسبة 854% مقارنة بالعام الماضي، مما أثار دهشة وول ستريت. ومن الجدير بالذكر أن سعر H100 في سوق المستعمل قد ارتفع إلى 40-50 ألف دولار، بينما تكلفة المواد الخاصة به حوالي 3000 دولار فقط.
تعتبر تكاليف قوة الحوسبة المرتفعة في بعض الأحيان عقبة أمام تطوير الصناعة. وقد قامت إحدى الشركات برسم تقدير: من المتوقع أن تنفق شركات التكنولوجيا العالمية 200 مليار دولار سنويًا على بناء البنية التحتية للنماذج الكبيرة؛ بالمقارنة، فإن النماذج الكبيرة يمكن أن تحقق إيرادات تصل إلى 75 مليار دولار سنويًا فقط، مما يعني أن هناك فجوة لا تقل عن 125 مليار دولار.
علاوة على ذلك، باستثناء عدد قليل من الحالات مثل Midjourney، لم تتمكن معظم شركات البرمجيات من العثور على نموذج ربح بعد تحمل تكاليف ضخمة. خاصة أن أداء اثنين من رواد الصناعة - مايكروسوفت وأدوبي - لم يكن مرضيًا.
أداة توليد الشيفرة البرمجية AI GitHub Copilot التي طورتها مايكروسوفت بالتعاون مع OpenAI، رغم أنها تتقاضى 10 دولارات شهريًا، إلا أن مايكروسوفت تخسر 20 دولارًا شهريًا بسبب تكاليف المرافق، ويمكن أن يتسبب المستخدمون الكثيفون في خسارة مايكروسوفت 80 دولارًا شهريًا. بناءً على ذلك، من المحتمل أن يخسر Microsoft 365 Copilot الذي يتم تسعيره بـ 30 دولارًا أكثر.
بالمثل، أطلقت شركة أدوبي مؤخرًا أداة Firefly AI وأطلقت بسرعة نظام نقاط متكامل لمنع الإفراط في استخدامه مما يؤدي إلى خسارة الشركة. بمجرد أن يتجاوز المستخدم النقاط المخصصة له شهريًا، ستقوم أدوبي بتقليل سرعة الخدمة.
من المعروف أن مايكروسوفت وأدوبي هما عمالقة البرمجيات ذات سيناريوهات أعمال واضحة ولديهما عدد كبير من المستخدمين المدفوعين. بينما لا يزال معظم النماذج الكبيرة التي تتراكم فيها المعلمات تستخدم بشكل أساسي للدردشة.
لا يمكن إنكار أنه لولا ظهور OpenAI و ChatGPT، ربما لم تكن هذه الثورة في الذكاء الاصطناعي ستحدث على الإطلاق؛ ولكن في الوقت الحالي، قد يكون من المشكوك فيه قيمة تدريب النماذج الكبيرة.
ومع تزايد حدة المنافسة المتجانسة، وزيادة عدد النماذج مفتوحة المصدر، قد تتقلص مساحة البقاء لموردي النماذج الكبيرة فقط.
لم يكن سبب شهرة آيفون 4 هو معالج A4 بدقة 45 نانومتر، بل لأنه كان بإمكانه تشغيل لعبة النباتات ضد الزومبي ولعبة الطيور الغاضبة.