الذكاء الاصطناعي x العملات الرقمية: من الصفر إلى القمة
المقدمة
أصبح تطور صناعة الذكاء الاصطناعي في الآونة الأخيرة يُنظر إليه من قِبل بعض الأشخاص على أنه الثورة الصناعية الرابعة. أدى ظهور النماذج الكبيرة إلى تحسين كبير في كفاءة مختلف الصناعات، حيث يُقدّر أن GPT قد زاد من كفاءة العمل في الولايات المتحدة بحوالي 20%. تعتبر قدرة النماذج الكبيرة على التعميم نموذج تصميم برمجي جديد، حيث تحولت تصميمات الأكواد الدقيقة السابقة إلى إطار نماذج أكبر أكثر تعميماً يتم تضمينه في البرمجيات، مما يجعل البرمجيات تتمتع بأداء أفضل وتدعم مجموعة واسعة من المدخلات والمخرجات. لقد جلبت تقنيات التعلم العميق حقاً ازدهاراً رابعاً لصناعة الذكاء الاصطناعي، وقد أثرت هذه الموجة أيضاً على صناعة العملات المشفرة.
سيتناول هذا التقرير بالتفصيل تاريخ تطوير صناعة الذكاء الاصطناعي، وتصنيف التقنيات، وتأثير اختراع تقنيات التعلم العميق على الصناعة. ثم سيتم تحليل شامل لسلاسل الصناعة العليا والدنيا المتعلقة بالتعلم العميق، مثل وحدات معالجة الرسوميات، والحوسبة السحابية، ومصادر البيانات، والأجهزة الطرفية، بالإضافة إلى الوضع الحالي والاتجاهات. بعد ذلك، سيتم مناقشة العلاقة الجوهرية بين صناعة التشفير وصناعة الذكاء الاصطناعي، مع استعراض هيكل سلسلة صناعة الذكاء الاصطناعي المتعلقة بالتشفير.
بدأت صناعة الذكاء الاصطناعي منذ الخمسينات من القرن العشرين، ومن أجل تحقيق رؤية الذكاء الاصطناعي، طورت الأوساط الأكاديمية والصناعية في عصور مختلفة وخلفيات علمية متنوعة، العديد من المدارس لتحقيق الذكاء الاصطناعي.
تستخدم تقنيات الذكاء الاصطناعي الحديثة بشكل رئيسي مصطلح "تعلم الآلة"، حيث تتمثل فكرة هذه التقنية في جعل الآلات تعتمد على البيانات للتكرار المتكرر في المهام من أجل تحسين أداء النظام. الخطوات الرئيسية هي إرسال البيانات إلى الخوارزمية، واستخدام هذه البيانات لتدريب النموذج، واختبار نشر النموذج، واستخدام النموذج لإكمال مهام التنبؤ التلقائي.
توجد ثلاث مدارس رئيسية في التعلم الآلي حاليًا، وهي الاتصال، والرمزية، والسلوكية، والتي تحاكي على التوالي الجهاز العصبي البشري، والتفكير، والسلوك.
تحتل الشبكات العصبية، التي تمثلها الاتصاليات، الصدارة حالياً، والمعروفة أيضًا بالتعلم العميق، والسبب الرئيسي هو أن هذا الهيكل يحتوي على طبقة إدخال وطبقة إخراج، ولكن هناك عدة طبقات خفية. بمجرد أن يكون عدد الطبقات وعدد الخلايا العصبية كافياً، سيكون هناك فرص كافية لتكييف المهام العامة المعقدة. من خلال إدخال البيانات، يمكن ضبط معلمات الخلايا العصبية باستمرار، وفي النهاية، بعد المرور عبر عدة بيانات، ستصل هذه الخلايا العصبية إلى الحالة المثلى، وهذا هو مصدر كلمة "عميق" - عدد كافٍ من الطبقات والخلايا العصبية.
! [الوافد الجديد Science Popular 丨الذكاء الاصطناعي x Crypto: من الصفر إلى الذروة](https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp019283746574839201
فهم بسيط هو أنه تم إنشاء دالة، عندما ندخل X=2 فإن Y=3؛ وعندما X=3 فإن Y=5، إذا أردنا أن تتعامل هذه الدالة مع جميع قيم X، فنحتاج إلى إضافة درجة هذه الدالة ومعلماتها باستمرار، على سبيل المثال يمكن بناء دالة تلبي هذه الشروط كالتالي Y = 2X -1، ولكن إذا كانت هناك بيانات حيث X=2 وY=11، فسنحتاج إلى إعادة بناء دالة تناسب هذه النقاط الثلاثة، باستخدام وحدة معالجة الرسوميات لإجراء هجوم شامل، نجد أن Y = X2 -3X +5، وهذا يبدو مناسبًا، ولكن لا يحتاج الأمر إلى التطابق التام مع البيانات، يكفي أن نلتزم بالتوازن، والخروج بمخرجات مشابهة بشكل عام. في هذا السياق، X2 وX وX0 تمثل خلايا عصبية مختلفة، بينما 1 و-3 و5 هي معلماتها.
في هذه الحالة، إذا أدخلنا كميات كبيرة من البيانات في الشبكة العصبية، يمكننا زيادة عدد الخلايا العصبية وتعديل المعلمات لتناسب البيانات الجديدة. بهذه الطريقة، يمكننا ملاءمة جميع البيانات.
ومع تقنية التعلم العميق المستندة إلى الشبكات العصبية، هناك أيضًا عدة تطورات وابتكارات تقنية، مثل الشبكات العصبية المبكرة، والشبكات العصبية التغذية الأمامية، وRNN، وCNN، وGAN، وأخيرًا تطورت إلى النماذج الكبيرة الحديثة مثل GPT وما إلى ذلك باستخدام تقنية Transformer، تقنية Transformer هي مجرد اتجاه تطوري واحد للشبكات العصبية، حيث أضافت محولًا )Transformer(، من أجل ترميز جميع الأنماط ) مثل الصوت، الفيديو، الصور، إلخ ( إلى قيم مقابلة لتمثيلها. ثم يتم إدخالها إلى الشبكة العصبية، وبالتالي يمكن للشبكة العصبية التكيف مع أي نوع من البيانات، مما يعني تحقيق تعدد الأنماط.
مرت تطورات الذكاء الاصطناعي بثلاث موجات تكنولوجية، كانت الموجة الأولى في الستينيات من القرن العشرين، بعد عشر سنوات من اقتراح تقنية الذكاء الاصطناعي، وكانت هذه الموجة ناتجة عن تطور تقنية الرمزية، التي حلت مشاكل معالجة اللغة الطبيعية العامة وكذلك الحوار بين الإنسان والآلة. في نفس الفترة، وُلِدَت أنظمة الخبراء، وكان نظام DENRAL للخبراء قد اكتمل تحت إشراف جامعة ستانفورد ووكالة ناسا، حيث يمتلك هذا النظام معرفة قوية جداً في الكيمياء، ويستنتج الإجابات من خلال الأسئلة لتوليد إجابات مشابهة للخبراء الكيميائيين، ويمكن اعتبار هذا النظام الخبير الكيميائي بمثابة دمج بين قاعدة المعرفة الكيميائية ونظام الاستدلال.
بعد نظام الخبراء، اقترح عالم الحاسوب والفيلسوف الأمريكي من أصل إسرائيلي يودا بيرل ) Judea Pearl ( في التسعينيات من القرن العشرين الشبكات البايزية، والتي تُعرف أيضًا بشبكات الاعتقاد. في نفس الفترة، قدم بروكس علم الروبوتات القائم على السلوك، مما يمثل ولادة السلوكية.
في عام 1997، هزم IBM Deep Blue ب"Blue" بواقع 3.5:2.5 بطل الشطرنج كاسباروف)Kasparov(، وقد اعتُبرت هذه النصر بمثابة معلم في الذكاء الاصطناعي، حيث شهدت تقنيات الذكاء الاصطناعي ذروة جديدة في تطورها.
حدثت الموجة الثالثة من تقنية الذكاء الاصطناعي في عام 2006. قدم عمالقة التعلم العميق Yann LeCun وGeoffrey Hinton وYoshua Bengio مفهوم التعلم العميق، وهو خوارزمية تعتمد على الشبكات العصبية الاصطناعية لتعلم تمثيل البيانات. بعد ذلك، تطورت خوارزميات التعلم العميق تدريجياً، من RNN وGAN إلى Transformer وStable Diffusion، حيث شكلت هذه الخوارزميات معاً هذه الموجة التقنية الثالثة، وكانت هذه أيضًا ذروة الارتباطية.
ظهرت العديد من الأحداث الرمزية أيضًا بالتزامن مع استكشاف وتطور تقنيات التعلم العميق، بما في ذلك:
في عام 2011، تغلب IBM Watson) على البشر وفاز بالبطولة في برنامج اختبار 《危险边缘》( Jeopardy).
في عام 2014، اقترح Goodfellow شبكة GAN( التنافسية التوليدية، Generative Adversarial Network)، من خلال جعل شبكتين عصبيتين تتنافسان مع بعضها البعض، يمكنها تعلم كيفية إنتاج صور تبدو واقعية. في الوقت نفسه، كتب Goodfellow أيضًا كتابًا بعنوان "Deep Learning"، والذي يُطلق عليه الكتاب الزهري، وهو أحد الكتب الأساسية المهمة في مجال التعلم العميق.
في عام 2015، قدم هينتون وآخرون خوارزمية التعلم العميق في مجلة "نيتشر"، وأحدثت هذه الطريقة في التعلم العميق رد فعل كبير على الفور في الأوساط الأكاديمية والصناعية.
في عام 2015، تم إنشاء OpenAI، حيث أعلن ماسك، ورئيس Y Combinator ألتمان، والمستثمر الملائكي بيتر ثيل ( وآخرون عن استثمار مشترك بقيمة 1 مليار دولار.
في عام 2016، خاضت AlphaGo، المعتمدة على تقنية التعلم العميق، معركة شطرنج ضد بطل العالم في الشطرنج، اللاعب المحترف من الدرجة التاسعة لي شيه شي، وانتصرت بنتيجة إجمالية 4 إلى 1.
في عام 2017، قامت شركة هانسون روبوتيكس )Hanson Robotics( في هونغ كونغ، الصين، بتطوير الروبوت الشبيه بالإنسان صوفيا، والذي يُعتبر أول روبوت يحصل على صفة المواطن من الدرجة الأولى في التاريخ، ويتميز بتعبيرات وجه غنية وقدرة على فهم اللغة البشرية.
في عام 2017، أصدرت Google، التي لديها احتياطي غني من المواهب والتقنيات في مجال الذكاء الاصطناعي، ورقة بحثية بعنوان "Attention is all you need"، حيث تم تقديم خوارزمية Transformer وبدأ ظهور نماذج اللغة على نطاق واسع.
في عام 2018، أصدرت OpenAI نموذج GPT) الذي تم بناؤه على خوارزمية Transformer، وهو واحد من أكبر نماذج اللغة في ذلك الوقت.
في عام 2018، أصدرت فريق Google Deepmind AlphaGo القائم على التعلم العميق، والذي يمكنه التنبؤ بهيكل البروتين، ويُعتبر علامة تقدم كبيرة في مجال الذكاء الاصطناعي.
في عام 2019، أصدرت OpenAI نموذج GPT-2، والذي يحتوي على 1.5 مليار معلمة.
في عام 2020، طورت OpenAI نموذج GPT-3 الذي يحتوي على 175 مليار معلمة، وهو أعلى بمئة مرة من الإصدار السابق GPT-2. تم تدريب هذا النموذج باستخدام 570 جيجابايت من النصوص، ويمكنه تحقيق أداء متقدم في مهام معالجة اللغة الطبيعية مثل الإجابة على الأسئلة، والترجمة، وكتابة المقالات.
في عام 2021، أصدرت OpenAI GPT-4، حيث يحتوي هذا النموذج على 1.76 تريليون معلمة، وهو 10 مرات من GPT-3.
تم إطلاق تطبيق ChatGPT المستند إلى نموذج GPT-4 في يناير 2023، وفي مارس، وصل ChatGPT إلى مئة مليون مستخدم، ليصبح التطبيق الأسرع تاريخياً للوصول إلى مئة مليون مستخدم.
تستخدم النماذج الكبيرة الحالية في اللغة جميعها طرق التعلم العميق المعتمدة على الشبكات العصبية. وقد أحدثت النماذج الكبيرة مثل GPT موجة من الذكاء الاصطناعي، مما جذب عددًا كبيرًا من اللاعبين إلى هذا المجال. كما اكتشفنا أن السوق يشهد انفجارًا في الطلب على البيانات والقدرات الحاسوبية. لذلك، في هذا الجزء من التقرير، نستكشف سلسلة القيمة لخوارزميات التعلم العميق، وكيف تتكون السلسلة التحتية والعلوية في صناعة الذكاء الاصطناعي التي تهيمن عليها خوارزميات التعلم العميق، وما هي الحالة الحالية لعلاقة العرض والطلب والتطور المستقبلي.
أولاً، يجب أن نوضح أنه عند تدريب نماذج LLMs الكبيرة التي تتصدرها GPT المعتمدة على تقنية Transformer (، يتم تقسيم العملية إلى ثلاث خطوات.
قبل التدريب، وبما أنه يعتمد على Transformer، فإن المحول يحتاج إلى تحويل مدخلات النص إلى قيم عددية، وتسمى هذه العملية "Tokenization"، وبعد ذلك تُعرف هذه القيم العددية بـ Token. وفقًا للقواعد العامة، يمكن اعتبار كلمة أو حرف إنجليزي تقريبًا كـ Token واحد، بينما يمكن اعتبار كل حرف صيني تقريبًا كـ Tokenين. هذه هي الوحدة الأساسية المستخدمة في تسعير GPT.
الخطوة الأولى، التدريب المسبق. من خلال تزويد طبقة الإدخال بعدد كافٍ من أزواج البيانات، مثل المثال المذكور في الجزء الأول من التقرير )X, Y(، للبحث عن أفضل معلمات لكل خلية عصبية تحت هذا النموذج، في هذه اللحظة نحتاج إلى كمية كبيرة من البيانات، وهذه العملية هي أيضًا أكثر العمليات استهلاكًا للطاقة الحاسوبية، لأنها تتطلب تكرارًا متكررًا لخلايا عصبية تجربة معلمات مختلفة. بعد إكمال تدريب دفعة بيانات واحدة، عادة ما يتم استخدام نفس دفعة البيانات لإعادة التدريب لتكرار المعلمات.
الخطوة الثانية، التخصيص. التخصيص هو إعطاء دفعة صغيرة ولكن ذات جودة عالية من البيانات للتدريب، وسيؤدي هذا التغيير إلى تحسين جودة مخرجات النموذج، حيث أن التدريب المسبق يتطلب كميات كبيرة من البيانات، ولكن العديد من هذه البيانات قد تحتوي على أخطاء أو ذات جودة منخفضة. يمكن أن تعزز خطوة التخصيص جودة النموذج من خلال بيانات عالية الجودة.
الخطوة الثالثة، التعلم المعزز. أولاً سيتم إنشاء نموذج جديد بالكامل، نسميه "نموذج المكافأة"، والغرض من هذا النموذج بسيط للغاية، وهو تصنيف النتائج الناتجة، لذلك سيكون من السهل نسبيًا تنفيذ هذا النموذج، لأن سيناريو الأعمال عمودي جدًا. بعد ذلك، نستخدم هذا النموذج لتحديد ما إذا كانت مخرجات نموذجنا الكبير ذات جودة عالية، وبالتالي يمكننا استخدام نموذج المكافأة لتكرار معلمات النموذج الكبير تلقائيًا. ) ولكن في بعض الأحيان يتطلب الأمر أيضًا مشاركة بشرية لتقييم جودة مخرجات النموذج (
بإيجاز، تتطلب عملية تدريب النماذج الكبيرة كمية بيانات عالية جدًا أثناء التدريب المسبق، كما أن قوة معالجة GPU المطلوبة هي الأكثر. بينما تحتاج عملية التعديل الدقيق إلى بيانات ذات جودة أعلى لتحسين المعلمات. يمكن للتعلم المعزز تكرار المعلمات من خلال نموذج مكافأة لإنتاج نتائج ذات جودة أعلى.
خلال عملية التدريب، كلما زاد عدد المعلمات، زادت قدرة العموم على السقف، على سبيل المثال، في المثال الذي نستخدم فيه الدالة، Y = aX + b، في الواقع هناك وحدتان عصبيتان X و X0، لذا فإن كيفية تغيير المعلمات، فإن البيانات التي يمكن أن تتناسب معها تكون محدودة للغاية، لأن جوهرها لا يزال خطًا مستقيمًا. إذا زادت عدد الوحدات العصبية، فإنه يمكن تكرار المزيد من المعلمات، وبالتالي يمكن التناسب مع المزيد من البيانات، وهذا هو السبب في أن النماذج الكبيرة تحقق معجزات، وهذا أيضًا هو السبب في تسميتها بشكل شائع بالنماذج الكبيرة، فهي في جوهرها تحتوي على عدد هائل من الوحدات العصبية والمعلمات وكمية ضخمة من البيانات، وفي نفس الوقت تحتاج إلى قوة حسابية ضخمة.
لذلك، فإن أداء النموذج الكبير يتحدد أساسًا من خلال ثلاثة جوانب: عدد المعلمات، وكمية وجودة البيانات، والقدرة الحاسوبية. نفترض أن عدد المعلمات هو p، وكمية البيانات هي n) محسوبة بعدد الرموز (، وبالتالي يمكننا حساب كمية الحوسبة المطلوبة من خلال قاعدة تجريبية عامة، مما يسمح لنا بتقدير حالة القدرة الحاسوبية التي نحتاج إلى شرائها ووقت التدريب.
تُستخدم قوة الحوسبة عادةً كوحدة أساسية تُعرف بـ Flops، والتي تمثل عملية حسابية واحدة ذات النقطة العائمة. تعتبر العمليات الحسابية ذات النقطة العائمة هي مجموعة من العمليات الرياضية التي تشمل الأعداد غير الصحيحة مثل 2.5 + 3.557، حيث تمثل النقطة العائمة القدرة على التعامل مع الأرقام العشرية، و FP16 تشير إلى الدقة التي تدعم الأعداد العشرية، بينما FP32 هي الدقة الأكثر شيوعًا. وفقًا لقواعد التجربة العملية، فإن التدريب المسبق
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 21
أعجبني
21
4
مشاركة
تعليق
0/400
BearMarketSunriser
· 07-28 01:17
بصراحة، كل من يلعب في تداول العملات الرقمية ينتظر أن تأخذهم الذكاء الاصطناعي إلى آفاق جديدة.
شاهد النسخة الأصليةرد0
FloorSweeper
· 07-25 20:05
pssh... أيادٍ ضعيفة تتسابق للانغماس في ضجة الذكاء الاصطناعي الآن... لقد رأيت هذه الدورة من قبل
شاهد النسخة الأصليةرد0
MindsetExpander
· 07-25 13:44
أها، هل قام النموذج الكبير بتعديل كل الأكواد؟
شاهد النسخة الأصليةرد0
CryptoNomics
· 07-25 13:43
ادعاؤك بفعالية 20% يفتقر إلى الصرامة الإحصائية... قم بإجراء تحليل انحدار صحيح أولاً، أ sigh
دمج الذكاء الاصطناعي مع التشفير: تحليل شامل من تاريخ التطور إلى سلسلة الصناعة
الذكاء الاصطناعي x العملات الرقمية: من الصفر إلى القمة
المقدمة
أصبح تطور صناعة الذكاء الاصطناعي في الآونة الأخيرة يُنظر إليه من قِبل بعض الأشخاص على أنه الثورة الصناعية الرابعة. أدى ظهور النماذج الكبيرة إلى تحسين كبير في كفاءة مختلف الصناعات، حيث يُقدّر أن GPT قد زاد من كفاءة العمل في الولايات المتحدة بحوالي 20%. تعتبر قدرة النماذج الكبيرة على التعميم نموذج تصميم برمجي جديد، حيث تحولت تصميمات الأكواد الدقيقة السابقة إلى إطار نماذج أكبر أكثر تعميماً يتم تضمينه في البرمجيات، مما يجعل البرمجيات تتمتع بأداء أفضل وتدعم مجموعة واسعة من المدخلات والمخرجات. لقد جلبت تقنيات التعلم العميق حقاً ازدهاراً رابعاً لصناعة الذكاء الاصطناعي، وقد أثرت هذه الموجة أيضاً على صناعة العملات المشفرة.
سيتناول هذا التقرير بالتفصيل تاريخ تطوير صناعة الذكاء الاصطناعي، وتصنيف التقنيات، وتأثير اختراع تقنيات التعلم العميق على الصناعة. ثم سيتم تحليل شامل لسلاسل الصناعة العليا والدنيا المتعلقة بالتعلم العميق، مثل وحدات معالجة الرسوميات، والحوسبة السحابية، ومصادر البيانات، والأجهزة الطرفية، بالإضافة إلى الوضع الحالي والاتجاهات. بعد ذلك، سيتم مناقشة العلاقة الجوهرية بين صناعة التشفير وصناعة الذكاء الاصطناعي، مع استعراض هيكل سلسلة صناعة الذكاء الاصطناعي المتعلقة بالتشفير.
! علم الوافد الجديد 丨 الذكاء الاصطناعي x التشفير: من الصفر إلى الذروة
تاريخ تطور صناعة الذكاء الاصطناعي
بدأت صناعة الذكاء الاصطناعي منذ الخمسينات من القرن العشرين، ومن أجل تحقيق رؤية الذكاء الاصطناعي، طورت الأوساط الأكاديمية والصناعية في عصور مختلفة وخلفيات علمية متنوعة، العديد من المدارس لتحقيق الذكاء الاصطناعي.
تستخدم تقنيات الذكاء الاصطناعي الحديثة بشكل رئيسي مصطلح "تعلم الآلة"، حيث تتمثل فكرة هذه التقنية في جعل الآلات تعتمد على البيانات للتكرار المتكرر في المهام من أجل تحسين أداء النظام. الخطوات الرئيسية هي إرسال البيانات إلى الخوارزمية، واستخدام هذه البيانات لتدريب النموذج، واختبار نشر النموذج، واستخدام النموذج لإكمال مهام التنبؤ التلقائي.
توجد ثلاث مدارس رئيسية في التعلم الآلي حاليًا، وهي الاتصال، والرمزية، والسلوكية، والتي تحاكي على التوالي الجهاز العصبي البشري، والتفكير، والسلوك.
تحتل الشبكات العصبية، التي تمثلها الاتصاليات، الصدارة حالياً، والمعروفة أيضًا بالتعلم العميق، والسبب الرئيسي هو أن هذا الهيكل يحتوي على طبقة إدخال وطبقة إخراج، ولكن هناك عدة طبقات خفية. بمجرد أن يكون عدد الطبقات وعدد الخلايا العصبية كافياً، سيكون هناك فرص كافية لتكييف المهام العامة المعقدة. من خلال إدخال البيانات، يمكن ضبط معلمات الخلايا العصبية باستمرار، وفي النهاية، بعد المرور عبر عدة بيانات، ستصل هذه الخلايا العصبية إلى الحالة المثلى، وهذا هو مصدر كلمة "عميق" - عدد كافٍ من الطبقات والخلايا العصبية.
! [الوافد الجديد Science Popular 丨الذكاء الاصطناعي x Crypto: من الصفر إلى الذروة](https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp019283746574839201
فهم بسيط هو أنه تم إنشاء دالة، عندما ندخل X=2 فإن Y=3؛ وعندما X=3 فإن Y=5، إذا أردنا أن تتعامل هذه الدالة مع جميع قيم X، فنحتاج إلى إضافة درجة هذه الدالة ومعلماتها باستمرار، على سبيل المثال يمكن بناء دالة تلبي هذه الشروط كالتالي Y = 2X -1، ولكن إذا كانت هناك بيانات حيث X=2 وY=11، فسنحتاج إلى إعادة بناء دالة تناسب هذه النقاط الثلاثة، باستخدام وحدة معالجة الرسوميات لإجراء هجوم شامل، نجد أن Y = X2 -3X +5، وهذا يبدو مناسبًا، ولكن لا يحتاج الأمر إلى التطابق التام مع البيانات، يكفي أن نلتزم بالتوازن، والخروج بمخرجات مشابهة بشكل عام. في هذا السياق، X2 وX وX0 تمثل خلايا عصبية مختلفة، بينما 1 و-3 و5 هي معلماتها.
في هذه الحالة، إذا أدخلنا كميات كبيرة من البيانات في الشبكة العصبية، يمكننا زيادة عدد الخلايا العصبية وتعديل المعلمات لتناسب البيانات الجديدة. بهذه الطريقة، يمكننا ملاءمة جميع البيانات.
ومع تقنية التعلم العميق المستندة إلى الشبكات العصبية، هناك أيضًا عدة تطورات وابتكارات تقنية، مثل الشبكات العصبية المبكرة، والشبكات العصبية التغذية الأمامية، وRNN، وCNN، وGAN، وأخيرًا تطورت إلى النماذج الكبيرة الحديثة مثل GPT وما إلى ذلك باستخدام تقنية Transformer، تقنية Transformer هي مجرد اتجاه تطوري واحد للشبكات العصبية، حيث أضافت محولًا )Transformer(، من أجل ترميز جميع الأنماط ) مثل الصوت، الفيديو، الصور، إلخ ( إلى قيم مقابلة لتمثيلها. ثم يتم إدخالها إلى الشبكة العصبية، وبالتالي يمكن للشبكة العصبية التكيف مع أي نوع من البيانات، مما يعني تحقيق تعدد الأنماط.
مرت تطورات الذكاء الاصطناعي بثلاث موجات تكنولوجية، كانت الموجة الأولى في الستينيات من القرن العشرين، بعد عشر سنوات من اقتراح تقنية الذكاء الاصطناعي، وكانت هذه الموجة ناتجة عن تطور تقنية الرمزية، التي حلت مشاكل معالجة اللغة الطبيعية العامة وكذلك الحوار بين الإنسان والآلة. في نفس الفترة، وُلِدَت أنظمة الخبراء، وكان نظام DENRAL للخبراء قد اكتمل تحت إشراف جامعة ستانفورد ووكالة ناسا، حيث يمتلك هذا النظام معرفة قوية جداً في الكيمياء، ويستنتج الإجابات من خلال الأسئلة لتوليد إجابات مشابهة للخبراء الكيميائيين، ويمكن اعتبار هذا النظام الخبير الكيميائي بمثابة دمج بين قاعدة المعرفة الكيميائية ونظام الاستدلال.
بعد نظام الخبراء، اقترح عالم الحاسوب والفيلسوف الأمريكي من أصل إسرائيلي يودا بيرل ) Judea Pearl ( في التسعينيات من القرن العشرين الشبكات البايزية، والتي تُعرف أيضًا بشبكات الاعتقاد. في نفس الفترة، قدم بروكس علم الروبوتات القائم على السلوك، مما يمثل ولادة السلوكية.
في عام 1997، هزم IBM Deep Blue ب"Blue" بواقع 3.5:2.5 بطل الشطرنج كاسباروف)Kasparov(، وقد اعتُبرت هذه النصر بمثابة معلم في الذكاء الاصطناعي، حيث شهدت تقنيات الذكاء الاصطناعي ذروة جديدة في تطورها.
حدثت الموجة الثالثة من تقنية الذكاء الاصطناعي في عام 2006. قدم عمالقة التعلم العميق Yann LeCun وGeoffrey Hinton وYoshua Bengio مفهوم التعلم العميق، وهو خوارزمية تعتمد على الشبكات العصبية الاصطناعية لتعلم تمثيل البيانات. بعد ذلك، تطورت خوارزميات التعلم العميق تدريجياً، من RNN وGAN إلى Transformer وStable Diffusion، حيث شكلت هذه الخوارزميات معاً هذه الموجة التقنية الثالثة، وكانت هذه أيضًا ذروة الارتباطية.
ظهرت العديد من الأحداث الرمزية أيضًا بالتزامن مع استكشاف وتطور تقنيات التعلم العميق، بما في ذلك:
في عام 2011، تغلب IBM Watson) على البشر وفاز بالبطولة في برنامج اختبار 《危险边缘》( Jeopardy).
في عام 2014، اقترح Goodfellow شبكة GAN( التنافسية التوليدية، Generative Adversarial Network)، من خلال جعل شبكتين عصبيتين تتنافسان مع بعضها البعض، يمكنها تعلم كيفية إنتاج صور تبدو واقعية. في الوقت نفسه، كتب Goodfellow أيضًا كتابًا بعنوان "Deep Learning"، والذي يُطلق عليه الكتاب الزهري، وهو أحد الكتب الأساسية المهمة في مجال التعلم العميق.
في عام 2015، قدم هينتون وآخرون خوارزمية التعلم العميق في مجلة "نيتشر"، وأحدثت هذه الطريقة في التعلم العميق رد فعل كبير على الفور في الأوساط الأكاديمية والصناعية.
في عام 2015، تم إنشاء OpenAI، حيث أعلن ماسك، ورئيس Y Combinator ألتمان، والمستثمر الملائكي بيتر ثيل ( وآخرون عن استثمار مشترك بقيمة 1 مليار دولار.
في عام 2016، خاضت AlphaGo، المعتمدة على تقنية التعلم العميق، معركة شطرنج ضد بطل العالم في الشطرنج، اللاعب المحترف من الدرجة التاسعة لي شيه شي، وانتصرت بنتيجة إجمالية 4 إلى 1.
في عام 2017، قامت شركة هانسون روبوتيكس )Hanson Robotics( في هونغ كونغ، الصين، بتطوير الروبوت الشبيه بالإنسان صوفيا، والذي يُعتبر أول روبوت يحصل على صفة المواطن من الدرجة الأولى في التاريخ، ويتميز بتعبيرات وجه غنية وقدرة على فهم اللغة البشرية.
في عام 2017، أصدرت Google، التي لديها احتياطي غني من المواهب والتقنيات في مجال الذكاء الاصطناعي، ورقة بحثية بعنوان "Attention is all you need"، حيث تم تقديم خوارزمية Transformer وبدأ ظهور نماذج اللغة على نطاق واسع.
في عام 2018، أصدرت OpenAI نموذج GPT) الذي تم بناؤه على خوارزمية Transformer، وهو واحد من أكبر نماذج اللغة في ذلك الوقت.
في عام 2018، أصدرت فريق Google Deepmind AlphaGo القائم على التعلم العميق، والذي يمكنه التنبؤ بهيكل البروتين، ويُعتبر علامة تقدم كبيرة في مجال الذكاء الاصطناعي.
في عام 2019، أصدرت OpenAI نموذج GPT-2، والذي يحتوي على 1.5 مليار معلمة.
في عام 2020، طورت OpenAI نموذج GPT-3 الذي يحتوي على 175 مليار معلمة، وهو أعلى بمئة مرة من الإصدار السابق GPT-2. تم تدريب هذا النموذج باستخدام 570 جيجابايت من النصوص، ويمكنه تحقيق أداء متقدم في مهام معالجة اللغة الطبيعية مثل الإجابة على الأسئلة، والترجمة، وكتابة المقالات.
في عام 2021، أصدرت OpenAI GPT-4، حيث يحتوي هذا النموذج على 1.76 تريليون معلمة، وهو 10 مرات من GPT-3.
تم إطلاق تطبيق ChatGPT المستند إلى نموذج GPT-4 في يناير 2023، وفي مارس، وصل ChatGPT إلى مئة مليون مستخدم، ليصبح التطبيق الأسرع تاريخياً للوصول إلى مئة مليون مستخدم.
في عام 2024، أطلقت OpenAI نموذج GPT-4 omni.
! علم الوافد الجديد 丨الذكاء الاصطناعي x التشفير: من الصفر إلى الذروة
سلسلة صناعة التعلم العميق
تستخدم النماذج الكبيرة الحالية في اللغة جميعها طرق التعلم العميق المعتمدة على الشبكات العصبية. وقد أحدثت النماذج الكبيرة مثل GPT موجة من الذكاء الاصطناعي، مما جذب عددًا كبيرًا من اللاعبين إلى هذا المجال. كما اكتشفنا أن السوق يشهد انفجارًا في الطلب على البيانات والقدرات الحاسوبية. لذلك، في هذا الجزء من التقرير، نستكشف سلسلة القيمة لخوارزميات التعلم العميق، وكيف تتكون السلسلة التحتية والعلوية في صناعة الذكاء الاصطناعي التي تهيمن عليها خوارزميات التعلم العميق، وما هي الحالة الحالية لعلاقة العرض والطلب والتطور المستقبلي.
أولاً، يجب أن نوضح أنه عند تدريب نماذج LLMs الكبيرة التي تتصدرها GPT المعتمدة على تقنية Transformer (، يتم تقسيم العملية إلى ثلاث خطوات.
قبل التدريب، وبما أنه يعتمد على Transformer، فإن المحول يحتاج إلى تحويل مدخلات النص إلى قيم عددية، وتسمى هذه العملية "Tokenization"، وبعد ذلك تُعرف هذه القيم العددية بـ Token. وفقًا للقواعد العامة، يمكن اعتبار كلمة أو حرف إنجليزي تقريبًا كـ Token واحد، بينما يمكن اعتبار كل حرف صيني تقريبًا كـ Tokenين. هذه هي الوحدة الأساسية المستخدمة في تسعير GPT.
الخطوة الأولى، التدريب المسبق. من خلال تزويد طبقة الإدخال بعدد كافٍ من أزواج البيانات، مثل المثال المذكور في الجزء الأول من التقرير )X, Y(، للبحث عن أفضل معلمات لكل خلية عصبية تحت هذا النموذج، في هذه اللحظة نحتاج إلى كمية كبيرة من البيانات، وهذه العملية هي أيضًا أكثر العمليات استهلاكًا للطاقة الحاسوبية، لأنها تتطلب تكرارًا متكررًا لخلايا عصبية تجربة معلمات مختلفة. بعد إكمال تدريب دفعة بيانات واحدة، عادة ما يتم استخدام نفس دفعة البيانات لإعادة التدريب لتكرار المعلمات.
الخطوة الثانية، التخصيص. التخصيص هو إعطاء دفعة صغيرة ولكن ذات جودة عالية من البيانات للتدريب، وسيؤدي هذا التغيير إلى تحسين جودة مخرجات النموذج، حيث أن التدريب المسبق يتطلب كميات كبيرة من البيانات، ولكن العديد من هذه البيانات قد تحتوي على أخطاء أو ذات جودة منخفضة. يمكن أن تعزز خطوة التخصيص جودة النموذج من خلال بيانات عالية الجودة.
الخطوة الثالثة، التعلم المعزز. أولاً سيتم إنشاء نموذج جديد بالكامل، نسميه "نموذج المكافأة"، والغرض من هذا النموذج بسيط للغاية، وهو تصنيف النتائج الناتجة، لذلك سيكون من السهل نسبيًا تنفيذ هذا النموذج، لأن سيناريو الأعمال عمودي جدًا. بعد ذلك، نستخدم هذا النموذج لتحديد ما إذا كانت مخرجات نموذجنا الكبير ذات جودة عالية، وبالتالي يمكننا استخدام نموذج المكافأة لتكرار معلمات النموذج الكبير تلقائيًا. ) ولكن في بعض الأحيان يتطلب الأمر أيضًا مشاركة بشرية لتقييم جودة مخرجات النموذج (
بإيجاز، تتطلب عملية تدريب النماذج الكبيرة كمية بيانات عالية جدًا أثناء التدريب المسبق، كما أن قوة معالجة GPU المطلوبة هي الأكثر. بينما تحتاج عملية التعديل الدقيق إلى بيانات ذات جودة أعلى لتحسين المعلمات. يمكن للتعلم المعزز تكرار المعلمات من خلال نموذج مكافأة لإنتاج نتائج ذات جودة أعلى.
خلال عملية التدريب، كلما زاد عدد المعلمات، زادت قدرة العموم على السقف، على سبيل المثال، في المثال الذي نستخدم فيه الدالة، Y = aX + b، في الواقع هناك وحدتان عصبيتان X و X0، لذا فإن كيفية تغيير المعلمات، فإن البيانات التي يمكن أن تتناسب معها تكون محدودة للغاية، لأن جوهرها لا يزال خطًا مستقيمًا. إذا زادت عدد الوحدات العصبية، فإنه يمكن تكرار المزيد من المعلمات، وبالتالي يمكن التناسب مع المزيد من البيانات، وهذا هو السبب في أن النماذج الكبيرة تحقق معجزات، وهذا أيضًا هو السبب في تسميتها بشكل شائع بالنماذج الكبيرة، فهي في جوهرها تحتوي على عدد هائل من الوحدات العصبية والمعلمات وكمية ضخمة من البيانات، وفي نفس الوقت تحتاج إلى قوة حسابية ضخمة.
لذلك، فإن أداء النموذج الكبير يتحدد أساسًا من خلال ثلاثة جوانب: عدد المعلمات، وكمية وجودة البيانات، والقدرة الحاسوبية. نفترض أن عدد المعلمات هو p، وكمية البيانات هي n) محسوبة بعدد الرموز (، وبالتالي يمكننا حساب كمية الحوسبة المطلوبة من خلال قاعدة تجريبية عامة، مما يسمح لنا بتقدير حالة القدرة الحاسوبية التي نحتاج إلى شرائها ووقت التدريب.
تُستخدم قوة الحوسبة عادةً كوحدة أساسية تُعرف بـ Flops، والتي تمثل عملية حسابية واحدة ذات النقطة العائمة. تعتبر العمليات الحسابية ذات النقطة العائمة هي مجموعة من العمليات الرياضية التي تشمل الأعداد غير الصحيحة مثل 2.5 + 3.557، حيث تمثل النقطة العائمة القدرة على التعامل مع الأرقام العشرية، و FP16 تشير إلى الدقة التي تدعم الأعداد العشرية، بينما FP32 هي الدقة الأكثر شيوعًا. وفقًا لقواعد التجربة العملية، فإن التدريب المسبق